google-cloud-dataflow - 带有动态查询的 beamsql

Question

我们有一个 Apache Beam 管道，需要运行多个 BeamSql 查询。查询在管道构建时是未知的，但在管道运行时将是已知的。查询将定期更新。BeamSql可以做到这一点吗？我们正在使用 Google Dataflow 运行器。

Answer 1

恐怕这对于 Beam SQL 是不可能的。查询在构建时被转换为管道结构。

那么，您是否接收 SQL 语句作为管道的输入？一种可能性是从您的管道内启动“子”管道。