apache-flink - Flink SQL Job 堆空间不足

Question

我正在运行一个查询来加入一个流和一个表，如下所示。它的堆空间不足。即使它在 flink 集群中有足够的堆空间（60GB * 3）

此查询是否需要驱逐策略？

SELECT sourceKafka.* FROM sourceKafka INNER JOIN DefaulterTable ON sourceKafka.CC=DefaulterTable.CC;

Answer 1

如果您要与流连接的表是静态的，那么您可以实现自己的连接，这样会更好。

一种方法是使用状态处理器 API 创建一个保存点，其中包含处于 Flink 状态的静态表，然后将连接实现为 KeyedProcessFunction。

如果您需要定期更新“静态”表，那么使用 KeyedCoProcessFunction 应该是可行的，并在偶尔更新中进行流式传输。