0

如何将运行时参数/参数添加到 CDAP 管道。

我们可以在所有 Transforms、Source 和 Target 节点中设置参数，并在运行时在 Datafusion 环境中手动输入值。

但是在生产环境中，我想要一个参数文件来将值提供给管道，我如何实现这个功能。

在 CDAP 文档中，我没有发现任何关于运行时参数的有用信息。我是数据融合的新手，对界面不是很熟悉。如果已经回答了这个问题，则重定向到该线程也将有所帮助

4

1 回答 1

0

启动管道时，您可以在请求正文中将运行时参数指定为 JSON 映射。

首先，您的管道应该包含属性查找宏，在此处记录。例如，管道 json 定义可能包含 BigQuery Sink 插件的以下配置（为简洁起见，删除了周围的字段）：

  {
    "name": "BigQuerySink",
    "plugin": {
      "properties": {
        "table": "${bqsink_table}"
      }
    },

然后，在启动管道时，您可以指定宏的值，如此处所述。

在此示例中，您将发送一个 POST 请求v3/namespaces/<namespace-id>/apps/<app-id>/workflows/DataPipelineWorkflow/start，请求正文为：

{ "bqsink_table": "myTable" }
于 2020-01-15T20:35:36.330 回答