solr - 将大量 xml 文件索引到 solr 5

Question

我正在尝试将约 100 万个 xml 文件索引到 Solr 5。我可以想到以下几种方法：

1. 将所有 xml 文件转储到一个目录中，然后使用 post.jar
2. 在我看来，数据导入处理程序也可以用于递归导入 xml 文件

还有其他方法吗？

Answer 1

您的问题是如何使用 solr 索引一百万个 xml 文件。

即使使用 recursiv 文件夹结构，您也可以使用bin/post工具。

如果这有足够的功能：很好。如果您需要更多特殊功能构建自己的索引器，特别是使用solrj ，这很容易。

如果您有足够的主内存，则可以DataImportHandler与FileListEntityProcessor一起使用。“FileListEntityProcessor”首先收集所有文件，然后运行真正的索引。因此，在您的情况下，第一步将在您的主内存中放置一百万个“文件”实例。