我使用 Kinesis 数据流作为源,使用 elasticsearch 作为接收器。
我正在使用 Flink 作业稍微处理这些数据,然后将这些数据下沉到 elasticsearch。
在生产环境中,Kinesis 数据流每秒可以生成 50,000 个事件。处理数据以处理 500,000 个事件需要花费大量时间,大约需要 50 分钟左右的时间。
Elasticsearch 7.7版在基于 SSD 的存储上运行。
弹性搜索节点:2
碎片:5
副本:每个分片 1 个
刷新间隔:1 秒(默认)
我们正在使用 AWS opensearch elasticsearch。
有人可以建议导致这种延迟的原因吗?