elasticsearch - Elasticsearch 索引占用太多空间

Question

我在 Ubuntu 上使用 Elasticsearch 7.5.2。最近，我开始使用 Elasticsearch 在每次页面加载时显示相关搜索结果。这增加了音量，但我也发现它创建了大型索引文件。请注意，我正在使用“应用搜索”来支持我的查询。

这是占用太多空间的示例索引文件：

.app-search-analytics-logs-loco_togo_production-7.1.0-2020.01.26 => 52 GB
.app-search-analytics-logs-loco_togo_production-7.1.0-2020.01.27 => 53 GB

我尝试使用 CURL 删除这些，但它们重新出现并显示较小的空间（每个约 5 GB）。

我想知道是否有办法控制这些索引。我不确定这些索引的目的是什么，是否有办法阻止它们？

Answer 1

我尝试使用 CURL 删除这些，但它们重新出现并显示较小的空间（每个约 5 GB）。

显然您的删除操作已执行。似乎索引仍然被写入。如果文档仍然进入弹性搜索，则重新创建索引。

例如：

从 2020.01.27 开始的索引在删除前有 53 GB。删除后，数据和索引本身都消失了。但是，一旦同一天（2020.01.27）的新文档被索引，索引就会重新创建，其中包含删除后的文档，可能是 5GB。

如果这不是您想要的，您需要检查是否有一些来源仍在发送数据。

希望这可以帮助。

编辑：

问：但是，有没有办法管理这些索引？我不希望他们占用太多空间。

是的！您正在寻找索引生命周期管理 (ILM) 。它旨在自动化索引的维护/管理。因此，例如，您可以每 30GB 定义一个翻转到一个新索引，以保持它们很小。另一个例子是 X 天后删除索引。看看所有的阶段和行动。