2

每晚，我需要从 ODBC 源中填充一个 SQL Server 2005 表，其中包含超过 800 万条记录。目前我正在使用来自链接服务器的插入语句，其语法选择类似于：

Insert Into SQLStagingTable from Select * from OpenQuery(ODBCSource, 'Select * from SourceTable')

这确实效率低下，需要数小时才能运行。我正在使用类似于此问题中的代码的 SqlBulkInsert 代码编写解决方案。

该问题中的代码首先在内存中填充数据表，然后将该数据表传递给 SqlBulkInserts WriteToServer 方法。

如果填充的数据表使用的内存比它正在运行的机器上的可用内存多（在我的情况下是 16GB 内存的服务器），我该怎么办？

我考虑过使用重载的 ODBCDataAdapter填充方法，该方法允许您仅填充从 x 到 n 的记录（其中 x 是起始索引，n 是要填充的记录数）。然而，这可能是一个比我目前拥有的更慢的解决方案，因为这意味着在源上多次重新运行 select 语句。

我该怎么办？只需一次填充整个内容并让操作系统管理内存？我应该分块填充它吗？还有其他我没有想到的解决方案吗？

4

3 回答 3

4

最简单的方法是对您的 odbc 数据源使用 ExecuteReader() 并将IDataReader传递给WriteToServer(IDataReader)重载。

大多数数据读取器实现只会将总结果的一小部分保留在内存中。

于 2008-10-13T00:54:12.820 回答
1

SSIS 表现良好并且非常可调整。以我的经验，800 万行并没有超出它的范围。我的一个较大的 ETL 每天处理 2400 万行，并进行主要的转换和维度数据仓库操作。

于 2008-10-13T02:20:38.043 回答
0

如果您在目标表上有索引，您可能会考虑禁用这些索引，直到插入记录？

于 2008-10-13T02:42:00.200 回答