“ilm”的相关标签问题_Stack Overflow中文网

使用 Elasticsearch ILM。我创建了my_policy1超过 5M 时应该翻转的策略和模板template_charizard：

{“index_patterns”：[“printmessage_charizard*”]，“设置”：{“number_of_shards”：1，“number_of_replicas”：1，“index.lifecycle.name”：“my_policy1”，“index.lifecycle.rollover_alias”：“ charizard-actual" }，"别名": { "charizard-actual": { "is_write_index": true } } }

这不起作用，我必须使用 alias 创建索引，在这种情况下charizard-actual是手动的。如果我没有，将会出现错误：

Rollover alias [charizard-actual] can point to multiple indices, found duplicated alias [[charizard-actual]] in index template [template_charizard]

将会有更多的容器被消耗，所以我不能每次创建一些新的索引时都手动创建索引。我希望它会自动创建。

更新：

我测试了这个选项（完全按照教程，同名），但它不起作用。它只是创建新的空索引，带有增量编号，但所有日志都进入引导索引。
我可以配置 logstash ILM。这工作正常，但我不能在别名中使用变量，所以我必须为每个索引创建弹性搜索输出并制作很多 ifs。
我可以配置 filebeat ILM。与logstash类似的问题。我可以在翻转别名中使用变量，但它对所有索引都是硬编码的。

我的期望是，我将配置一些策略、一些模板，并且基于索引名称的正则表达式将模板应用于索引。所有选项基本上都是有用的，每次必须手动更改（编辑logstash配置）或请求（先手动创建索引）。

问题：
正确翻转的最佳解决方案是什么？
为什么所有东西都必须硬编码，那时很难维护。
根据我的说法，curator 将是最好的解决方案，但是需要维护另一个应用程序。
任何人都可以向我解释所有 ILM 选项的用法吗？无法想象为每个新索引更改配置，甚至首先手动创建索引或对所有日志使用硬编码别名，例如 filebeat 示例。也许我错过了一些东西。

elasticsearch logstash filebeat ilm

0 投票

0 回答

634 浏览

elasticsearch - 为什么 ElasticSearch 中的 ILM 会缓慢更改每个翻转操作状态

我从logstash启用了ILM的弹性搜索7.7.1，我创建了一个带有热和删除阶段的ILM策略，每个人2秒，热阶段48gb。所以我的问题是。为什么 Elasticsearch 非常缓慢地将索引从 Hot 阶段移动到 Delete 阶段？ilm 解释说，在 ilm 将索引移动到删除阶段之前，索引年龄大约是 30 分钟。我看到它在热阶段停留在“check-rollover-ready”阶段或在删除阶段停留在“wait-for-shard-history-leases”阶段。所以我的问题是，为什么翻转如此缓慢？索引是空的，所以那里没有数据或文档，但他坚持了很长时间，只是等待着什么。如何解决这个问题？

elasticsearch logstash ilm

0 投票

1 回答

2335 浏览

elasticsearch - 使用管道日期索引名称设置 ElasticSearch 索引生命周期策略的问题

我是建立适当生命周期政策的新手，所以我希望有人可以帮我解决这个问题。因此，我每周都会创建一个现有索引。这是第三方集成（他们为我提供了传入日志的管道和索引模板）。每周以“name-YYYY-MM-DD”的模式创建日志。我正在尝试为这些索引设置生命周期策略，以便它们从 hot->warm->delete 转换。到目前为止，我已经完成了以下工作：

更新了索引模板以添加策略并设置别名：

在现有索引上，设置别名以及哪个是“写入”索引：

一旦我这样做了，我开始看到以下 2 个错误（每个索引上 1 个）：

ILM 错误 #1

ILM 错误 #2

我不确定为什么“不是写索引”错误会出现在旧索引上。也许这是因为它仍然“热”并试图将其移至另一个阶段而不是写入索引？

对于第二个错误，是不是因为索引的名称错误而无法翻转？

我也不清楚这是否是一个很好的翻转方案。这些索引每周都会创建，我认为这没问题。我认为通常您会创建一个索引，并让策略根据您的标准（大小、年龄等）将旧的索引分开。我应该改变这个还是让这个政策适用于现有的每周文件？如果您需要，这里是我导入 ElasticSearch 的管道的一部分，我认为它负责索引命名：

所以，对我来说，目前更重要的错误是“number_format_exception”。我想这是由于我在索引中看到的这个设置（provided_name）：

我相信这个“provided_name”是从我上面提供的管道的“date_index_name”中建立起来的。如果这是问题所在，有没有办法通过摄取管道创建一个固定的索引名称而不根据日期进行更改？我宁愿只创建一个固定索引，让生命周期策略处理拆分（即 0001、0002 等）。

我一直在寻找一种方法来创建一个没有“date_index_name”处理器的固定索引名称，但我还没有找到一种方法来做到这一点。或者，如果我可以创建一个带日期的索引名称并添加一个后缀，以允许生命周期策略管理器 (ILM) 在末尾添加增量编号，那也可能会起作用。这里的任何帮助将不胜感激！

elasticsearch indexing pipeline lifecycle ilm