google-cloud-platform - 如何在数据流模板中运行多个查询？

Question

我正在使用 jdbc 到数据流中的 bigquery 模板执行 Mysql 到 bigquery 数据迁移。

但是在mysql上执行“select * from teable1”命令时，出于某种原因，我还想将选定的数据插入到同一数据库中的另一个表中。

如何在数据流模板中执行选择和插入查询？在两个查询之间使用分号时出现错误。

Answer 1

正如@PeterKim 提到的JDBC 到 BigQuery 模板可能不是您的用例的最佳方法。

您可以尝试使用该模板作为参考并修改它以写入 MySQL，在这篇文章中，您将找到有关如何插入 MYSQL 数据库的实现。

修改管道源代码后，您可以创建自定义模板。

Answer 2

Jdbc to Bigquery 模板会将您读取的所有数据写入“Bigquery 输出表”( <my-project>:<my-dataset>.<my-table>) 下指定的表中，因此无需编写插入语句。

（gcloud/REST 的参数是“outputTable”）