postgresql - 我们可以从 Postgres 表创建 Flink DataStream

Question

我必须从 Postgres 表中读取配置并广播它以使用它来过滤主 DataStream。我为此使用 Flink 广播状态。当我从本地套接字获取配置时，它工作正常。

用例是在 Flink 作业中从 Postgres 读取最新配置，而无需重新启动作业。

我们可以从 Postgres 表创建一个 Flink 数据流吗？如果可能的话，它是否有效，因为它将永远保持 JDBC 连接有效？

Answer 1

您可以创建自定义 JDBC 源以定期从 postgresql 读取数据。间隔取决于配置信息的更新频率。如果您的数据更新周期较长，您可以尝试在每次从源获取配置数据时释放连接。