elasticsearch - 高流量下的弹性搜索索引策略

Question

我们将 ElasticSearch 用于我们工具的实时指标和分析部分。当我们查询数据时，ElasticSearch 非常酷且快速。（统计方面和术语方面）

但是当我们尝试索引我们的每小时数据时，我们遇到了问题。我们从其他服务收集我们的每一个指标数据。首先我们从其他服务收集数据并将它们保存在 RabbitMQ 进程中。但是当队列工作者运行我们所有的每小时数据而不是 ES 的索引时。通常 ES 中 40% 的数据索引和其他丢失。

那么你对高流量下索引ES的想法是什么？

Answer 1

我已经发布了其他类似问题的答案：

• 在 ElasticSearch 中改进首次索引的方法
• 使用 Elasticsearch 作为时间窗口存储的性能问题（我的答案的后半部分适用）

此外，您是否考虑过使用“河流”而不是自定义的“队列工作者”？有关更多信息，请参阅：

• http://www.elasticsearch.org/blog/the-river/
• http://www.elasticsearch.org/guide/reference/river/