google-cloud-dataflow - Apache Beam：跳过已经构建的管道中的步骤

Question

有没有办法有条件地跳过已经构建的管道中的步骤？或者管道构造是否设计为控制运行哪些步骤的唯一方法？

Answer 1

通常，管道构造控制将执行管道中的哪些转换。

但是，您可以想象一个单一的输入、多个输出ParDo，它将输入多路复用PCollection到一个输出PCollection。然后，通过选择将数据传递到哪个输出，您可以动态控制执行哪些步骤——没有任何输入的步骤可能不会被执行和/或它们的执行可能无关紧要。

一个相关的特性是“参数化管道”或“模板管道”。这是我们非常感兴趣并正在积极努力的事情。