问题标签 [elasticsearch-curator]

我们正在运行一个 elasticsearch 集群，用于使用 logstash 记录、索引来自多个位置的日志。我们最近添加了两个额外的节点以增加容量，同时我们等待进一步的硬件来扩展集群。最终，我们的目标是在 SSD 上运行 2 个用于“实时”数据的节点，以提供对最新数据的快速访问，并将数据老化到 HDD 以获取较旧的索引。我们放入的新节点的内存比现有的盒子少得多（700GB 与 5TB），但考虑到这与我们实施 SSD 时的情况相似，我没有预见到这会是一个很大的问题.

作为第一次尝试，我将节点放入集群中，相信新的基于磁盘间隔的分配规则意味着它们不会立即被填满。不幸的是，情况并非如此，我醒来发现集群已经愉快地将分片重新分配到新节点上，超过 99%。在进行了一些设置之后，我设法从这些节点中删除了所有数据并将集群恢复到之前的状态（所有分片已分配，集群状态为绿色）。

作为下一个方法，我尝试实现类似于我在实现 SSD 时的计划的索引/节点标记。这给我们留下了以下配置：

• 节点 1 - 5TB，标签：实时、存档
• 节点 2 - 5TB，标签：实时、存档
• 节点 3 - 5TB，标签：实时、存档
• 节点 4 - 700GB，标签：实时
• 节点 5 - 700GB，标签：实时

（所有运行 elasticsearch 1.3.1 和 oracle java 7 u55 的节点）

然后，我使用 curator 将超过 10 天的索引标记为“存档”，将最近的索引标记为“实时”。这在后台设置索引分片分配“要求”。我的理解是它需要节点有标签，但不仅仅是那个标签。

不幸的是，这似乎没有达到预期的效果。最令人担忧的是，没有标记为存档的索引正在分配它们的副本分片，留下 295 个未分配的分片。此外，实时标记的索引仅使用节点 4、5 和奇怪的 3。节点 3 没有分片，除了最新的索引和一些 kibana-int 分片。

如果我删除标签并使用 exclude._ip 从新节点中拉出分片，我可以（慢慢地）将集群恢复为绿色，因为这是我在新节点完全填满时采用的方法，但我真的喜欢对这个设置进行排序，这样我就可以确信 SSD 配置在新套件到货时可以正常工作。

我试图启用：cluster.routing.allocation.allow_rebalance 总是，理论上集群由于未分配的副本而没有重新平衡。我也试过：cluster.routing.allocation.enable to all，但同样，这没有明显的影响。

我做了什么明显错误的事情吗？或者是否有某种我可以使用的诊断方法？我一直在使用 Elasticsearch Head 插件来可视化分片的分配。

任何帮助将不胜感激，希望这只是一个我可以轻松解决的愚蠢错误！

提前致谢

我想使用 ElasticSearch 来索引数据项。这些项目每天分批更新（来自外部来源） - 每个批次都替换前一天的批次。插入新批次后，可以删除昨天的旧批次。

数据项在文件中接收，由计划作业解析，然后应持久保存到 ElasticSearch。我想只使用 ElasticSearch 保持简单，而不是在流程中添加另一个数据库。

你会怎么做？

我想从我的 Elasticsearch 库中删除数据，所以我只得到了过去一个月的数据。这在 XDELETE 调用或类似调用中是否可行？可以使用 cronjob 或类似的设置。

在过去，我编写并使用了我自己的插件“ rollindex ”来处理例如日志数据的“滚动”。然后我看到了 curator 并认为这是一个很好的替代品，因为它可以添加和删除别名。但是我怎样才能原子地移动别名呢？

根据文档，我认为这是不可能的。文档建议了一种模式，我将两个索引添加到一个别名，然后从别名中删除旧索引。但这意味着在一小段时间内，由于ElasticSearch 限制，所有写入都将失败。我的 rollindex 插件有一个原子移动（同时添加+删除），这不会发生。

我将如何与策展人合作？

嘿，我正在marvel旁边使用elasticsearch，我试图避免使用curator看起来像“.marvel-2015-*”的清理索引是否有特定的配置或一组配置可以用来完成此操作。

注意：我正在使用 chef 来配置节点，并且在 logstash 食谱内部我在 default.rb 中设置属性，如下所示

我假设这会将这些索引的最大数量设置为 14。但是当我添加一些假的“.marvel-2015-*”索引时，它们仍然出现并且没有被清除。

我意识到我说的是一种用于处理 marvelcurator及其marvel本身的工具，但我对这些工具不熟悉，我需要帮助连接这些点。

理想情况下，我希望 marvel 拥有仅删除这些索引的逻辑，我不知道 plugins/marvel/marvel-1.3.1.jar 中是否有一些选项可以完成此操作

任何帮助，将不胜感激。

我在 ubuntu 14.04 上安装了 logstash、elasticsearch、kibana，我使用 cca 40 logstash-forwarders（ubuntu 12.04 和 14.04），我每秒能够接收 cca 300-400logs，我想从“今天”开始收获日志，不是较旧的原木。几周前我运行了logstash，但它仍然只收获较旧的原木，我想实时收获更多原木。

我尝试了设置过滤器，与策展人合作，我尝试用谷歌搜索它，但我仍然没有解决方案。

不幸的是，就我而言，轮换旧日志是不可能的，因为我们必须存储旧日志以进行安全审计。

我有几个前缀为“log-2014”的索引，我需要关闭这些索引。我更喜欢使用 Curator 工具，而不是 API。我怎样才能做到这一点？

我正在尝试拍摄具有类型名称的 ES Index 的快照，reincarnation.2015.07.21并使用以下curator命令将其存储在 Amazon S3 中：-

但我收到以下错误：-

我在 elasticsearch.yaml 中添加了 aws 键，如下所示。之后重新启动elasticsearch。

AWS Plugin 也已添加到 ES 节点并在此之后重新启动节点。

我已经使用下面的命令创建了 repo，它是成功的

有人可以告诉我吗

1. 我做错了什么？

2. 这个连接失败是什么意思？是curator无法连接到elasticsearch还是elasticsearch无法连接到S3？我在弹性搜索日志中找不到任何内容。

   • 策展人版本 3.3.0
   • ES 版本 1.5.1

我必须为 Elasticsearch 实施数据保留策略。应执行以下操作：

• 应该删除超过 30 天的索引；从索引名称推断年龄（索引根据模式命名logstash-YYYY.MM.DD）。
• 如果已超过磁盘使用阈值，则应删除最旧的索引。

事实证明，策展人正是我所需要的，但正如这里所说：

请注意，您不能将按空格删除与任何其他 Curator 选项结合使用。

我的问题是为什么不能结合这些选项？有没有办法克服这个限制？

我正在使用 nodejs 连接到 elasticsearch 并使用 curator 来拍摄每小时快照。

当 snapshop 操作运行时，许多创建/删除请求在等待 30 秒后超时。更严重的问题是，在删除期间，即使请求超时，客户端也认为删除失败但它成功了，可能是在发生超时之后。这导致数据损坏。

我还注意到拍摄快照的时间不断线性增加。6 个月后现在需要 4 分钟，即使它声称备份是增量过程。

我已使用以下命令进行备份

谢谢