我已经建立了一个新的AWS Kinesis Firehose
流,我想每周创建一个新索引。
为此,我应该Index Rotation
在配置流时使用设置。
但是,我是否必须在下一周的每个周末都使用新索引?如果不是(希望不是),怎么Firehose
知道要使用什么映射?它是否使用我在Index
设置中指定的索引中定义的映射?
此外,假设我有旧数据,我可以Firehose
根据旧数据中指定的日期创建具有相关时间戳的索引吗?
谢谢 !
我已经建立了一个新的AWS Kinesis Firehose
流,我想每周创建一个新索引。
为此,我应该Index Rotation
在配置流时使用设置。
但是,我是否必须在下一周的每个周末都使用新索引?如果不是(希望不是),怎么Firehose
知道要使用什么映射?它是否使用我在Index
设置中指定的索引中定义的映射?
此外,假设我有旧数据,我可以Firehose
根据旧数据中指定的日期创建具有相关时间戳的索引吗?
谢谢 !
您是否尝试过考虑在弹性搜索中创建索引模板。Thay 方式新索引将选择索引模板中定义的映射。
详情请参考以下链接
https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html
好吧,显然答案是肯定的,但方式很糟糕。
如果Firehose
将数据推送到未使用映射预定义的新索引,则会提取该数据Elasticsearch
并自动为您创建映射。
这真的很糟糕。
您应该在活动开始前 1-2 小时自动创建索引。我将发布一个Lambda
函数及其配置以自动执行此操作。