问题标签 [elasticsearch-curator]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
550 浏览

kubernetes - elasticsearch-curator k8s Helm 图表无法连接到 HTTPS

我正在使用以下 Helm 图表:https ://github.com/kubernetes/charts/tree/master/incubator/elasticsearch-curator并在我的 values.yaml 文件中传递以下内容:

在 pods 日志中,我看到以下异常:

似乎它正在尝试连接到 HTTP,而不是 HTTPS。我已经测试了从我的 k8s 集群到 es:443 的连接,它可以工作。

你知道是不支持 HTTPS 还是我做错了什么?

...

0 投票
1 回答
329 浏览

elasticsearch - Elasticsearch Curator 退出代码

我正在使用 Elasticsearch Curator 5.5 版(Windows zip 包)CLI 并尝试在运行后获取退出代码,但文档和我得到的内容似乎不匹配。(文档:https ://www.elastic.co/guide/en/elasticsearch/client/curator/current/exit-codes.html )

运行 curator,无论处理发生什么,我总是得到一个退出代码 0,即使我格式错误或错过了配置文件或操作文件的片段。如果我指定了错误的配置文件位置,我可以获得退出代码 2,但此退出代码未在文档中列出。我是否遗漏了什么或以某种方式获得了错误的退出代码?我希望如果配置或操作文件的语法有错误,我应该得到一个 -1 退出代码。只有在运行操作文件期间出现错误时,退出代码才会更改?

我在 PowerShell 中运行以获取退出代码的示例:

0 投票
1 回答
147 浏览

elasticsearch - Elasicsearch 策展人重新索引

我是弹性搜索策展人的新手,并试图重新编制索引,但我需要搜索索引中包含单词“debug”的索引。

我试图做到这一点

但它不能正常工作。如果我愿意的话,来自 kibana 中的 devtools 会get *.debug*/_search显示它应该是怎样的。但是我怎样才能对 actionfile 做同样的事情呢?

0 投票
3 回答
9099 浏览

elasticsearch - Elasticsearch 索引清理

v 弹性搜索 5.6.*。

我正在寻找一种方法来实现一种机制,通过该机制,我的一个索引(每天大约有 100 万个文档会迅速增长)来自动管理存储约束。

例如:我将最大文档数或最大索引大小定义为变量“n”。我会编写一个调度程序来检查“n”是否为真。如果为真,那么我想删除最旧的“x”文档(基于时间)。

我在这里有几个问题:

显然,我不想删除太多或太少。我怎么知道'x'是什么?我可以简单地对 elasticsearch 说“嘿,删除价值 5GB 的最旧文档”吗?我的目的是简单地释放固定数量的存储空间。这可能吗?

其次,我想知道这里的最佳做法是什么?显然我不想在这里发明一个方形轮子,如果有任何东西(例如:策展人和我最近才听说过)可以完成这项工作,那么我很乐意使用它。

0 投票
1 回答
121 浏览

elasticsearch - 使用 curator 插件从特定索引中删除旧文档

我已经安装了 curator 插件来删除特定索引的文档。所以

  1. 策展人插件可以用于删除索引/索引的文档,或者它仅用于删除整个索引。如果可能的话,你可以分享任何样品。

  2. 要删除索引,还必须为该索引创建别名。

0 投票
1 回答
226 浏览

logstash - ELK 读取和存储 log4j 日志

我们有大约 50 台服务器,我们可以从中获取 log4j 日志。这些 log4j 写入的文件夹,我们已经安装到我们有 Logstash 的机器上,它将这些日志推送到 Elasticsearch。它在 Elasticsearch 中创建一个名为 logstash-2018.06.25 的索引,它将所有日志信息存储在此表中。现在我必须删除旧日志,我在互联网上读到用查询删除不是一个好方法,而是我们应该使用 CURATOR(Elasticsearch) 删除它。我读过策展人可以删除整个索引。如何配置我的 logstash 以便它根据日期创建索引。

所以它将根据天数创建一个索引/表。因此,2018 年 6 月 25 日索引将在 2018 年 6 月 25 日创建。2018 年 6 月 26 日的相似指数将于 2018 年 6 月 26 日创建。

这样我就可以在旧文件上删除索引,使用这种方法我可以更快地进行弹性搜索。

为此,如何配置我的 logstash 以便我可以实现这一点。

0 投票
2 回答
28378 浏览

python - 安装elastic-search-curator时的Python pip包RequestsDependencyWarning

我通过以下命令安装了弹性搜索策展人。

这一切都安装好了。

但是现在当我执行以下操作时

我收到以下依赖警告。

如何修复警告或隐藏它?

0 投票
1 回答
857 浏览

elasticsearch - 自动化弹性搜索快照和恢复的最佳方法是什么

我需要自动化快照并从一个集群恢复到备份集群,但是当我尝试恢复快照时,它抱怨索引已经存在。然后我要么需要删除这些索引,要么关闭那些要重新恢复的索引。是否有任何 --force 类型的选项可以覆盖从实时集群到备份集群的所有内容?

有重新索引选项,但与快照和还原相比,速度较慢。

0 投票
1 回答
400 浏览

elasticsearch - 在 elasticsearch 上自动创建快照存储库 - kubernetes

我们在 AWS 上安装了 Kubernetes(如果重要,可以使用 EKS)。Elasticsearch 部署在 pod 中。我们不在 AWS 上使用 ES 服务。我已经为 ES 配置了一个位于 S3 存储桶上的快照存储库。一切正常。

但是,我通过 REST api 调用创建了快照存储库 - 手动。我们将使用 Curator 来运行快照作业,但是,curator 似乎希望有一个快照存储库。似乎没有任何行动可以帮助创建快照存储库

我需要自动创建快照存储库。我正在寻找是否存在此配置所在的文件,但它似乎位于弹性搜索数据上。重新创建集群并挂载数据卷会恢复快照存储库。所以可能是一次性配置。

我们使用由 helm 图表创建的 yaml 清单。

实现这一目标的最佳方法是什么?我一直在考虑生命周期 postStart 命令,但不确定在 API 启动时运行等方面会有多稳定。

0 投票
1 回答
419 浏览

elasticsearch - 策展人分配操作不会将 ES 索引 box_type 设置从“热”更改为“暖”

我正在使用 Elasticsearch Hot Warm Architecture 进行大型时间数据分析。我的策展人工作会将超过 2 天的索引的 box_type 从“热”节点设置为“热”节点。但是当我在 9 月 30 日晚上 18 点运行它时,9 月 28 日索引的 box_type 仍然“热”。我的策展人动作设置:

日志:

日志说操作已完成。9 月 28 日的索引 box_type 不应该是“温暖的”吗?

当我在 9 月 30 日晚上 18 点运行此过滤器时,它是否会将所有 9 月 28 日的索引 box_type 更改为暖色?