solr - 在 solr 中导入 2.6 GByte xml 时内容长度无效

Question

我收到 java.lang.IllegalArgumentException: invalid content length error while importing 2.6 GByte xml in solr 。我使用的命令是 java -Durl= http://solrserver.local:8080/solr/solr1/update -jar post.jar dssolrprice.xml 。Tomcat server.xml 中的 maxHttpHeaderSize 为 10485760。可能是什么原因

Answer 1

通过 HTTP 发布内容时有一些限制。即，我认为 Tomcat 的 HTTP 发布的默认大小是 2 MB。

1）所以也许你可以考虑 DataImportHandler 用于这种目的。

2）另一方面，您可以使用 SolrJ 客户端并将数据拆分为块（如果可以）并将它们发送到索引。

Answer 2

请改用DataImportHandler，它以流方式工作。您不应该通过 Internet 连接发送那么大的文件。