0

我正在努力解决一个问题 - 如何使用节点 oracle-db 驱动程序插入或更新大量数据（数千或数百万行）？

关键是我可以在 resultSet （处理结果集）的帮助下选择很多数据......但是我必须对一行进行一些操作，然后更新或插入一个新行。这就是问题所在 - 我不知道如何尽可能快地做到这一点。

任何人都可以帮我一个建议吗？谢谢。

4

1 回答 1

1

我可以向您保证，这些操作无法在 db 中完成。

实际上，有很多不同的方法可以在需要时通过 SQL 和 PL/SQL 在数据库中完成。人们通常希望使用他们熟悉的语言，在这种情况下可能是 JavaScript，但如果数据不必在层之间飞来飞去，性能会更好。

这是一个仅在 SQL 中的示例......当然，这可以通过虚拟列完成，但它应该说明这一点。

假设我们有以下表格：

create table things (
  id   number not null, 
  val1 number not null, 
  val2 number not null, 
  constraint things_pk primary key (id)
);

insert into things (id, val1, val2) values (1, 1, 2);
insert into things (id, val1, val2) values (2, 2, 2);
insert into things (id, val1, val2) values (3, 5, 5);

-- Will hold the sum of things val1 and val2
create table thing_sums (
  thing_id number,
  sum      number
);

alter table thing_sums
add constraint thing_sums_fk1 
foreign key (thing_id)
references things (id);

现在，最简单、最高效的方法是通过 SQL：

insert into thing_sums (
  thing_id,
  sum
)
select id, 
  val1 + val2
from things
where id not in (
  select thing_id
  from thing_sums
);

这是另一个仅通过 PL/SQL 执行相同操作的示例，它可以提供更多控制。

begin

  -- This cursor for loop will bulk collect (reduces context switching between 
  -- SQL and PL/SQL engines) implictly. 
  for thing_rec in (
    select *
    from things
    where id not in(
      select thing_id
      from thing_sums
    )
  )
  loop
    -- Logic in this loop could be endlessly complex. I'm inserting the values
    -- within the loop but this logic could be modified to store data in arrays
    -- and then insert with forall (another bulk operation) after the loop.
    insert into thing_sums(
      thing_id,
      sum
    ) values (
      thing_rec.id,
      thing_rec.val1 + thing_rec.val2
    );
  end loop;

end;

其中任何一个都可以从 Node.js 驱动程序中调用。但是，假设您需要从驱动程序执行此操作（也许您正在摄取数据库中尚未包含的数据）。这是一个示例，演示从使用批量处理而不是逐行操作的驱动程序调用 PL/SQL。由于减少了往返行程，这要快得多。

我从我正在处理的一篇博客文章中提取了这个，所以表定义有点不同：

create table things (
  id   number not null,
  name varchar2(50),
  constraint things_pk primary key (id)
);

这是JavaScript：

var oracledb = require('oracledb');
var async = require('async');
var config = require('./dbconfig');
var things = [];
var idx;

function getThings(count) {
  var things = [];

  for (idx = 0; idx < count; idx += 1) {
    things[idx] = {
      id: idx,
      name: "Thing number " + idx
    };
  }

  return things;
}

things = getThings(500);

oracledb.getConnection(config, function(err, conn) {
  var ids = [];
  var names = [];
  var start = Date.now();

  if (err) {throw err;}

  // We need to break up the array of JavaScript objects into arrays that
  // work with node-oracledb bindings.
  for (idx = 0; idx < things.length; idx += 1) {
    ids.push(things[idx].id);
    names.push(things[idx].name);
  }

  conn.execute(
    ` declare
        type number_aat is table of number
          index by pls_integer;
        type varchar2_aat is table of varchar2(50)
          index by pls_integer;

        l_ids   number_aat := :ids;
        l_names varchar2_aat := :names;
      begin
        forall x in l_ids.first .. l_ids.last
          insert into things (id, name) values (l_ids(x), l_names(x));
      end;`,
    {
      ids: {
        type: oracledb.NUMBER,
        dir: oracledb.BIND_IN,
        val: ids
      }, 
      names: {
        type: oracledb.STRING,
        dir: oracledb.BIND_IN,
        val: names
      }
    },
    {
      autoCommit: true
    },
    function(err) {
      if (err) {console.log(err); return;}

      console.log('Success. Inserted ' + things.length + ' rows in ' + (Date.now() - start) + ' ms.');
    }
  );
});

我希望这会有所帮助！:)

于 2017-01-24T18:59:09.170 回答