6

这是一种常见的情况，但我想找出哪种方式是性能优化方式和最佳实践。

我有一个有 4 列的表：id、name 和其他两个字段。Id 是 PK，name 是唯一键。我正在从 excel 文件中读取数据，在 Domain 对象中填充每一行的值，然后保存它。保存时，我想查看是否已经存在同名的记录，如果存在，我想更新它。否则将其另存为新记录。

我可以通过对名称的正常选择查询并检查是否为空，并基于该插入或更新来做到这一点，但我有数千行要从 excel 文件中读取，并且请求的非功能性要求是性能。

所以请告诉我处理这种情况的最佳方法是什么？我还没有开始编写我的持久层部分，所以我可以根据你的建议切换到 ORM 或纯 jdbc。

编辑：如果我使用名称作为主键，那么我想我可以使用 saveOrUpdate 或从 ORM 合并，来满足我的需要。这是不是一个好主意？？？谢谢和问候，普拉萨特。

4

2 回答 2

3

我认为最快的方法是在数据库本身中执行所有插入/更新，而不是连接到它并使用大量语句。

请注意，这是特定于 Oracle 的，但其他数据库可能有类似的概念。

我将使用以下方法：首先将 Excel 数据保存为数据库服务器 ( /mydatadir/mydata.csv) 上的 CSV 文件，然后在 Oracle 中我将使用外部表：

create or replace directory data_dir as '/mydatadir/';
create table external_table (
  id number(18),
  name varchar2(30),
  otherfield1 varchar2(40),
  otherfield2 varchar2(40))
organization external (
  type oracle_loader
  default directory data_dir
  access parameters
  ( fields terminated by ',' )
  location ('mydata.csv')
)

（注意，不必每次都设置外部表）

然后您可以使用以下命令将数据合并到您的表中：

merge into yourtable t
using external_table e
on t.name = e.name
when matched then
   update set t.id = e.id, 
              t.otherfield1 = e.otherfield1, 
              t.otherfield2 = t.otherfield2
when not matched then
   insert (t.id, t.name, t.otherfield1, t.otherfield2)
   values (e.id, e.name, e.otherfield1, e.otherfield2)

这将在一个 Oracle 命令中更新行yourtable，因此所有工作都将由数据库执行。

编辑：

此merge命令可以通过普通 JDBC 发出（尽管我更喜欢使用 Spring 的SimpleJdbcTemplate）

编辑2：

在 MySQL 中，您可以使用以下构造来执行合并：

insert into yourtable (id, name, otherfield1, otherfield2)
values (?, ?, ?, ?), 
       (?, ?, ?, ?), 
       (?, ?, ?, ?) --repeat for each row in the Excel sheet...
on duplicate Key update
set otherfield1 = values(otherfield1),
    otherfield2 = values(otherfield2)

这可以作为一个普通的 JDBC 语句发出，并且比单独的更新和插入要好，您可以从电子表格中分批（比如说）一百行调用这些语句。这意味着您的 Excel 工作表中每 100 行有 1 次 JDBC 调用，并且应该表现良好。这将允许您在没有外部表的情况下执行此操作（您需要 name 列上的唯一索引才能工作，我不会更改主键，因为如果您需要更改，这可能会导致外键出现问题某人的名字）。

MySQL 也有external tables的概念，我认为这比按照上面的批量插入数据要快。只要将 csv 文件上传到正确的位置，导入应该会很快进行。

于 2012-04-11T08:08:46.747 回答
0

读取 Set 中的所有名称并减去从 Excel 文件中读取的名称 Set 的使用组合可能是合理的。

Set dbSet=//fill it from SQl query;
Set newSet//fill it from the file;

newSet.removeAll(dbSet); //left non existing ones to be inserted.

originalNewSet（可以是初始的克隆）

originalNewSet.removeAll(insertingSet); //left records to be updated.
于 2012-04-11T06:36:04.093 回答