elasticsearch - 如何在 Elasticsearch 中合并旧数据以节省空间

Question

我试图找到有关此的信息，但我没有找到我要找的东西。

我每分钟将指标存储在 Elasticsearch 数据库中。我的想法是频率只在短时间内很重要。

例如，我想在过去一周的每一分钟都有我的指标，但是我想合并这些指标，以便在过去的每个星期只有一个指标文档。

因此，我有一个想法可以使用诸如 Spark 流或 Flink 之类的流处理框架来实现这一点，但我的问题是：在 Elasticsearch 中是否有一种本地方式/工具/技巧来实现它？

谢谢，希望我的问题足够清楚，否则请发表评论以获取更多详细信息。

Answer 1

一个想法是有一个每周索引，您每分钟在其中存储所有指标，一旦一周过去，您可以对过去一周的索引运行聚合查询，并在日或周级别聚合所有信息。然后，您会将每周汇总的信息作为新文档存储在另一个历史索引中，以便稍后查询。我认为没有必要为此利用 Spark 流，ES 聚合可以很容易地完成这项工作。