performance - 从另一个 solr 导入数据的速度很慢

Question

我正在使用 SolrEntityProcessor 从另一个 solr 导入数据。它工作正常，但速度仅为 30 个文档/秒，低于我从 SQL Sever 导入的速度（7000 个文档/秒）。

我想知道我是否遗漏了什么以及是否有任何方法可以提高速度。

关于我的 solr 云的一些信息。我在三个不同的服务器上有 3 个分片，它们都在同一个域中。

提前致谢。

Answer 1

从SolrEntityProcessor 引用变得越来越慢

SolrEntityProcessor 适用于少量数据，但不适用于如此大的索引。问题是搜索结果中的深度分页成本很高。随着查询的“开始”值增加，查询的成本也会增加。重新索引数据会更好。

要解决此问题：

处理此问题的常用方法是过滤每个查询返回较少结果的值，作为 creation_date 字段，并且每个查询都会更改此字段范围。对于您的数据导入用例，您可能希望使用不同的实体生成 data-import.xml，每个实体用于另一个 creation_date 范围。因此不需要深度分页。