json - 处理和查询大量 JSON Lines 格式的大文件

Question

哪种技术最适合导入大量大型 JSON Line 格式文件（每个文件大约 2 GB）。

我正在考虑 Solr。

导入数据后，它必须是可查询的。

您建议使用哪种技术导入并及时查询 JSON 行格式数据？

Answer 1

您可以使用您喜欢的一些脚本语言开始原型设计，阅读行，根据需要调整格式以获得有效的 Solr json 并通过 HTTP 将其发送到 Solr。会更快上手。

从长远来看，SolrJ 将允许您获得最大性能（如果需要），因为您可以：

1. 直接命中 Solrcloud 环境中的 leader 副本
2. 使用多个线程来摄取和发送文档（您也可以使用多个进程）。并不是说这对于所有其他技术来说都更难/不可能，但在某些技术中确实如此。
3. 您可以完全灵活地使用所有 SolrJ api