json - Flume - Solr 集成

Question

这是我的场景。

输入 JSON 数据流向 Flume，需要对其进行索引并近乎实时地存储到 Solr。我正在使用最新的 CDH 版本。

我没有找到完整的文档。它在某些地方断开连接。

你能在这里指出我正确的方向吗？

• 我应该使用 Morphilines 水槽并说不要进行任何转换吗？或者，如果我不想对 json 进行任何转换，我可以使用其他接收器直接写入 Solr 吗？
• 指向具有明确步骤的文档的指针
• 或者请以逐步的形式列出您将做什么（当然，非常高水平）。

Answer 1

这里有几点建议：

1) 如果您的 Source 是 RabbitMQ，则 JMSSource 是正确的组件。

2) 如果没有编写自己的 SOLR 自定义源，我建议使用 MorphlineSOLRSink，无需转换。它就像一个魅力。如果您不必转换或修改事物，您可以实现自己的自定义处理程序或使用拦截器。请记住，SOLR 记录的数量必须与您的源接收的事件数量相对应。