问题标签 [elasticsearch-curator]

我正在尝试删除 14 天前或之前存储在弹性搜索中的所有日志。我已经安装了 curator ，并以这种方式创建了配置文件和操作文件：

curator.yml 配置文件

我的 elasticsearch 在 localhost:8080 中运行，而 kibana 在 localhost:80 中运行

delete_indices 操作文件

使用这两个配置文件，我使用配置文件执行 currator 并获得以下信息：

命令执行

您可以在下图中看到我在 kibana 中的索引名称：

kibana中的filebeat索引

我已经尝试了很多东西，但是我没有设法让它工作，它总是说没有这个名字的索引。有人知道问题出在哪里吗？

编辑 1：在您的帮助下，我设法获得了确切的索引名称，但是我仍然遇到同样的问题：

修改 delete_indices.yml 文件

这就是我输入 GET _cat/indices 时得到的结果：

我的指数

谁能帮我禁用 curator_cli 的日志记录。例如，我尝试了命令 Command ：

curator_cli --host localhost show_indices --filter_list '[{"filtertype":"age","source":"creation_date","direction":"younger","unit":"minutes","unit_count":60, "时间字符串":"%Y.%m.%d"}]'

输出： 2020-02-17 18:44:50,286 INFO 实例化客户端对象 2020-02-17 18:44:50,287 INFO 测试客户端连接 2020-02-17 18:44:50,290 INFO 使用提供的设置 logstash 成功创建 Elasticsearch 客户端对象-2020.02.17

所以，我只想要logstash-2020.02.17作为输出

我正在使用 Elasticsearch Curator 来管理我的索引。我想缩小/重新索引给定索引，然后将其重命名为原始索引名称。我可以手动执行此操作，因为我知道索引名称，但使用 Curator 很难执行此操作。这就是我现在所拥有的：

现在，我不能使用别名，所以我想缩小/重新索引回原始索引

弹性搜索版本：7.2 策展人版本：5.8

谢谢！

我在Google Compute Instance中安装了一个elasticsearch服务器。每分钟都会摄取大量数据，并且下划线磁盘很快就会填满。

我知道我们可以增加磁盘的大小，但这对于存储长期数据会花费很多。

我们需要将 Elasticsearch 服务器（计算引擎磁盘）中 90 天的数据和超过 90 天（直到 7 年）的数据存储在 Google Cloud Storage Buckets 中。较早的数据应该可以检索，以备日后分析时使用。

我知道的一种方法是经常拍摄快照并使用Curator从 Elasticsearch 服务器中删除超过 90 天的索引。这样我可以保持磁盘空闲并最大限度地降低存储成本。

有没有其他方法可以在不手动自动化上述想法的情况下做到这一点？

例如，由 Elasticsearch 提供的开箱即用的东西，它会将超过 90 天的数据存档并将数据文件保存在磁盘中，然后我们可以手动将这个文件从磁盘移动到Google Cloud Storage中。

我已经使用来自 AWS 的 logstash（在 EC2 上）和 ElasticSearch 服务设置了一个 ELk 堆栈。日志的来源来自 CloudWatch。我正在使用 Curator 5.8.1 来清理旧索引。

配置：

action.yml：

CloudWatch 的索引出现在我的堆栈中，如下所示：

使用当前配置，我想在 1 周后删除它们。但正如你所见。上面的索引在我的集群中仍然可用，而它们已经超过 2 周。

这里有什么问题？

我有一个包含 1 年数据的索引。我想删除旧数据并保留过去 60 天。

我尝试使用 delete_query，这似乎可行，但非常耗时。

似乎“策展人”是做到这一点的最佳方式。

所以，我做了这个配置：

并使用 curator cli 启动它。

版本：curator 5.8 和 elasticsearch 6.5

结果不是预期的！

如果存在超过 60 天的数据，则会删除整个索引，而不是仅删除超过 60 天的数据。你能帮我吗？

我能够运行 curator 从源索引中获取快照并在目标索引中恢复相同的快照。但是在下一次快照和恢复操作后，我对目标索引所做的所有更新都会丢失。

是否可以指定不覆盖目标索引的更新？

源索引： test_index

目标索引： dest_test_index

快照操作.yml 文件

恢复-action.yml 文件

我被困在这篇文章中看到的类似问题上，但找不到解决方案：https ://github.com/elastic/curator/issues/1513

为了对我的 Elasticsearch 集群 (7.7.1) 进行快照，我使用 curator (5.8) 每天对所有索引进行快照。我今天意识到只有我的索引以“。”开头。馆长正在拍摄快照。

如果我使用 curator-cli，所有索引确实都被 curator 看到并被快照。

我试图删除我的操作文件中的所有过滤器，将它们替换为：

似乎没有任何效果，我的试运行最终总是列出所有以点开头的索引。

这是我的动作文件：

策展人日志（我已经匿名了一些结果）

我去看了调试日志，索引生命周期似乎有问题。以下是一些接受/拒绝的索引：

有没有人经历过这个？我看不到具有 ILM 策略的索引与不匹配它们的策展人之间的联系。

我找不到使用正则表达式的解决方法来帮助我匹配所有索引。在 curator-cli 上使用相同的“filtertype：none”，一切正常。

非常感谢

我在 Kubernetes 上有一个 Elasticsearch 集群，我还有一个 curator 可以删除超过 7 天的索引。

我想根据一定的条件改变策展人工作：

如果文件key1=value1删除这些文件在 10 天后删除，否则在 7 天后删除。

有什么办法吗？

我试图在弹性搜索索引中设置自定义 metricbeat 索引。

当我像下面这样添加到 metricbeat.yml 文件时

生成的索引是metricbeat-7.8.0-2021.03.11-000001. 但是 curator'%Y.%m.%d'中的时间字符串与它不匹配并且无法清除索引。

如何使索引从metricbeat-7.8.0-2021.03.11-000001到metricbeat-7.8.0-2021.03.11？

我什至试过这样

但同样的索引模式。请帮助解决这个问题。

更新：

策展人配置