sql-server - 将 10000 行导入 Solr 会获取数十万行

Question

我正在尝试将五个左右的表从 MS SQL Server 2005 导入 Ubuntu 上的 Solr 4.3.0。最终我想导入每个表中的所有行，但现在我使用“top (10000)”来限制我的导入时间，直到我可以调试我的配置和查询。

它现在大部分都在工作，但是当我检查状态时遇到的问题是：

http://192.168.1.3:8983/solr/dataimport

它告诉我它已经运行了 48 分钟，并获取了超过 800,000 行。显然我的配置有问题，但我不知道。

<str name="status">busy</str>
<str name="importResponse">A command is still running...</str>
<lst name="statusMessages">
<str name="Time Elapsed">0:48:35.0</str>
<str name="Total Requests made to DataSource">821</str>
<str name="Total Rows Fetched">8165164</str>
<str name="Total Documents Processed">0</str>
<str name="Total Documents Skipped">0</str>
<str name="Full Dump Started">2013-05-21 18:14:15</str>
</lst>

我的查询看起来像：

select top (10000) foo, bar from [DBName].dbo.TableName

可能我的问题是我使用的是嵌套实体而不是非嵌套实体。在研究如何配置 data-config.xml 时，我已经看到了这两个示例，但不清楚有什么区别。

这个：

<entity>
</entity>
<entity>
</entity>

或这个：

<entity>
<entity>
</entity>
</entity>

我正在使用 TemplateTransformer 将表中的主键附加到一个名为 id 的唯一键中：

<field column="id" template="${GetAds.ADS_WPID},${Foo.MI_WPID},${Bar.MERCHANTID},${Baz.R4SE_WPID},${Boo.CR_WPID}" />

我已经在 Solr 上击败了两个多星期，所以我的新老板很不耐烦让我完成它。我是如此接近我可以品尝它，但不知道如何从这里开始。

谢谢你能给我的任何建议。