google-groups - 使用参数设置器的数据融合中的宏

Question

通过提供参数值来使用 Argument setter 我想让 Datafusion 管道成为可重复使用的。正如许多其他答案所说，尝试使用 Google 指南中给出的云可重用管道示例来实现。我无法传递参数 Json 文件。那么如何为存储在 Google 存储中的参数 Json 文件创建 API。请解释要传递给参数设置器的值，如 URL、请求响应等，如果你们中的任何一个已经在您的项目中实现。

谢谢你。

Answer 1

ArgumentSetter 插件从 HTTP 端点读取，它必须可公开访问，如GCP 文档中所述。目前，没有办法读取存储在 GCS 中的非公共文件。已报告此行为，以便通过此票证改进到 CDAP 。

Answer 2

您能否提供到目前为止您已经尝试过的内容以及您遇到的问题？

参数设置器中的 URL 字段将包含您正在调用的 API 端点。确保包含您的呼叫所需的任何标题，例如 Authorization、Accept 等。

如果您在使用参数设置器时遇到问题，一个很好的检查是使用 Curl 或任何其他工具来确保您能够与您尝试使用的端点通信。

以下是关于 Argument setter 的一些文档：https ://github.com/data-integrations/argument-setter

Answer 3

使用适当的名称/值对定义 JSON 文件。将其上传到 GCS 存储桶中 - 通过更改权限将其公开（在权限列表中添加“allUsers”）。保存时，文件会显示“Public to Internet” 将https路径复制到文件并在 Arguments Setter 中使用。如果您能够从 curl/ 浏览器访问此路径，则 Argument Setter 也可以这样做。

不过，我在使用 Argument Setter 时遇到了其他问题 - 管道不会多次取代 URL 中提供的默认值的运行时参数，特别是当管道被复制时。

公开文件