0

我使用 Kinesis 数据流作为源,使用 elasticsearch 作为接收器。

我正在使用 Flink 作业稍微处理这些数据,然后将这些数据下沉到 elasticsearch。

在生产环境中,Kinesis 数据流每秒可以生成 50,000 个事件。处理数据以处理 500,000 个事件需要花费大量时间,大约需要 50 分钟左右的时间。

Elasticsearch 7.7版在基于 SSD 的存储上运行。

弹性搜索节点:2

碎片:5

副本:每个分片 1 个

刷新间隔:1 秒(默认)

我们正在使用 AWS opensearch elasticsearch。

有人可以建议导致这种延迟的原因吗?

4

0 回答 0