我的项目目前是在 Azure 上构建的(数据存储在 Azure SQL 服务器中),我目前正在尝试通过利用 PyFilnk 为我的项目引入流式处理/批处理处理能力。但是,我没有找到任何关于如何将 PyFlink 连接到 Azure SQL server 的文档,有没有办法可以在 PyFlink 中使用 Azure SQL server 作为数据源?
问问题
44 次
1 回答
0
如果您的目标是从 Azure SQL 服务器转储一些数据以用作批处理 Flink 作业的输入,您可以将 SQL 查询的结果捕获为 CSV 文件,并将其读入 Flink。
另一方面,如果你想建立从 Azure SQL 服务器到流式 Flink 作业的实时连接,那么可以考虑使用 Debezium 之类的东西来进行更改数据捕获。您可能可以为此使用 Kafka 连接或https://github.com/ververica/flink-cdc-connectors。
于 2021-07-30T17:17:02.807 回答