sql - SharePoint 2010 中的大数据

Question

我有大量 CSV 格式的数据（7 Mio. 行），我必须每月自动导入一次 SharePoint 项目。数据总量并不大（100 kB）。该数据中的查询通常只检索一或几行）

因为 SharePoint 并不真正“喜欢”大列表（阈值等），所以我想知道哪种方法是解决该瓶颈的最佳方法。

1. 只需将数据放入列表中（不喜欢这个，因为即使在导入之前删除也肯定需要几个小时）

2. 将数据保存到 sql-Database 并编写“包装器”以直接连接到 SQL

这些是我对解决这个问题的可能性的第一个想法。还有其他（更好的）方法吗？

Answer 1

我会使用 SSIS 来做到这一点。

下载 SSIS 的 SharePoint 列表适配器（只需在 Google 上搜索这些适配器）。

使用平面文件连接从您的 csv 文件中获取数据，您可以将共享点列表中已有的数据与 csv 文件中的数据进行比较，并仅添加新行 - 我认为您使用合并/连接来执行此操作.

我以前做过，如果您需要更多详细信息，请告诉我，这只是我的想法。