google-cloud-data-fusion - 数据融合 - 参数设置器插件中定义的参数间歇性地取代运行时参数

Question

使用 Data Fusion Argument Setter，我已经在其中定义了所有参数以实现可重用管道。在执行它时，我为一些参数提供了运行时参数，这些参数与 Argument Setter 中嵌入的 JSON URL 中提供的默认参数不同。但是很多时候，管道最终会从 Argument Setter URL 中获取默认值，而不是 Runtime Arguments，从而导致失败。

这种行为在我创建的每个管道中都不一致 - 这证实了运行时参数应该取代为参数定义的任何先前值。

我使用的解决方法是删除插件并为每个新管道重新添加它。但这违背了创建可重用管道的目的。

有没有人遇到过这个问题？

当前运行时选项

Answer 1

此 wiki https://cloud.google.com/data-fusion/docs/tutorials/reusable-pipeline提供了如何使用 Argument Setter 创建可重用管道的示例。从那里开始，似乎运行时参数用于通知数据融合管道使用来自 Argument Setter URL 的宏。Argument Setter 是一种 Action 插件，它允许通过动态替换可以由 HTTP 服务器提供的配置来创建可重用的管道。看起来无论您如何更改运行时参数，只要在管道运行时可以读取相同的marco，参数就会被覆盖。