elasticsearch - 当 Elasticsearch 数据填满专用卷时如何处理它

Question

我正在 k8s 集群上创建一个 EFK 堆栈。我正在使用此处描述的 EFK 舵图。这将创建两个 PVC：一个用于 es-master，一个用于 es-data。

假设我为每个 PVC 分配了 50 Gi。当这些最终填满时，我想要的行为是让新数据开始覆盖旧数据。然后，我希望将旧数据存储到例如 s3 存储桶中。如何配置 Elasticsearch 来执行此操作？

Answer 1

Elasticsearch Curator 是一种可以帮助您做到这一点的简单工具： https ://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/actions.html

你可以用它来：

1. 按大小/时间滚动保存数据的索引。这将导致每个 PVC 根据时间持有很少的索引。
2. 将翻转的索引快照以在 S3 中备份
3. 根据日期删除旧索引 - 删除最旧的索引以便为新索引腾出空间。

策展人可以帮助您完成所有这些工作。