0

为了丰富数据流,我们计划将 MySQL(MemSQL)服务器连接到我们现有的 flink 流应用程序

我们可以看到 Flink 提供了一个带有 JDBC 连接器的 Table APIhttps://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/jdbc/

此外,我发现了另一个名为 Flink-CDC 的 MySQL 连接器,https://ververica.github.io/flink-cdc-connectors/master/content/about.html它允许以流方式使用外部数据库

它们之间有什么区别?在我的情况下选择什么更好?

4

1 回答 1

1

更改数据捕获 (CDC) 连接器捕获一个或多个表中发生的所有更改。模式通常具有前后记录。Flink CDC 连接器可以在 Flink 中以无界模式(流式)直接使用,中间不需要 Kafka 之类的东西。

普通的 JDBC 连接器可以在有界模式下使用并用作查找表。

如果您希望丰富您现有的流,您很可能希望使用查找功能。这允许您查询表以获取特定键(来自您的流)并使用表中的数据丰富流。请记住,从性能角度来看,您最好使用临时表连接。请参阅https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/jdbc/#how-to-create-a-jdbc-table中的示例

于 2022-02-08T08:52:37.547 回答