mysql - Solr 完全导入几个较小的块

Question

我正在尝试将大型 MySQL 数据库导入 Solr，并且服务器上的导入查询非常繁重（这可能会影响当时正在运行和使用数据库的实际产品）。有没有办法将完整的导入分成几个更小的块？我在这里或 Solr 的文档中都没有找到关于这个主题的任何内容。

我知道增量导入功能，但我将它用于新/更改数据的增量导入。

score 1 · Accepted Answer

当然，您可以添加一个条件，例如

WHERE pk<'${dataimporter.request.INDEX}'

并在请求参数中传递 INDEX。因此，每次调用完全导入时，只会索引部分记录。当然记得使用&clean=false否则每次都会清除内容。

score 0 · Accepted Answer

可能您可以检查批量大小：-

batchSize（默认值：500）——设置在一次查询中从数据库检索到数据库的最大记录数（或者更确切地说是对驱动程序的建议）。在查询返回大量结果的情况下，更改此参数会有所帮助。这可能无济于事，因为这种机制的实现取决于 JDBC 驱动程序。

2 回答 2