2

我正在使用 AWS Kinesis Data Analytics (KDA) 服务运行 Flink 应用程序。我的 KDA Flink 应用程序最后一个检查点的大小似乎随着时间的推移而稳步增长。您可以在所附图表中看到检查点大小的突然下降,这与我将更改推送到应用程序时相对应,导致它拍摄快照、更新,然后从快照恢复。我担心的是,一旦不再积极开发应用程序,更改将不会定期部署,并且检查点大小最终可能会变得太大。

有谁知道是什么导致检查点大小不断增长而没有尽头?我在所有重要状态上使用状态 TTL,并在不再需要时删除应用程序代码中的状态。检查点大小的增加是否表明我在处理状态的代码中存在错误,或者这里可能存在其他问题?

不断增加检查点大小

4

1 回答 1

3

更新:请参阅https://stackoverflow.com/a/67435073/2000823以获得更好的答案。


AWS Kinesis Data Analytics (KDA) 当前基于 Flink 1.8,其中适用于有关状态清理的文档。

注意

默认情况下,如果过期状态没有被读取,它不会被删除,可能会导致不断增长的状态

您还可以在完整快照(似乎正在发生)和后台清理(听起来像您想要的那样)期间激活清理。请注意,对于某些工作负载,即使启用了后台清理,后台清理的默认设置也可能不足以跟上清理状态的速度,因此可能需要进行一些调整。

顺便说一句,从 Flink 1.10 开始默认启用后台清理。

如果这不能回答您的问题,请准确说明状态 TTL 的配置方式。

于 2020-09-22T07:19:11.663 回答