0

我们有超过 1000 个平面文件，每个平面文件大约有 100 万条记录。我们需要将所有这些数据插入到数据库上的单个表中，并且该表不能分区。我们正在尝试使用 SSIS 实现并行处理，通过它我们希望使用 SSIS 运行多个批量插入过程，以同时将来自平面文件的数据插入到一个表中。平面文件的插入顺序也无关紧要。我们有一个带有 MULTIPLEFLATFILE 连接管理器的 SSIS 包，带有一个平面文件任务和一个带有“快速加载”和表锁定选项的 OLE DB 目标任务。有了这个，我们看到只有一个 SPID 用于将数据插入到表中。我们希望至少有 5 个 SPID/进程同时/并行插入到表中。请在这方面帮助我。

谢谢

4

1 回答 1

0

要获得插入的最佳性能，您需要在此处使用 OLE DB 目标并指定快速加载选项（在下拉菜单中），然后检查表锁定。这将使数据以最快的速度进入表中。但是，您现在将被迫进行串行加载。

要运行并行加载，您需要让每个线程加载到自己的表中，然后在最后执行一个执行 sql 任务，将所有数据合并到最终目的地。除了简单的元数据操作之外，合并分区背后的逻辑基本相同，您将移动数据两次。

于 2013-10-01T15:16:44.257 回答