3

有谁知道是否可以以编程方式导入/导出 DataFlow 管道（已部署或处于草稿状态）？

这个想法是编写一个脚本来删除和创建一个 DataFusion 实例，以避免在不使用时计费。通过 gloud 命令行，可以配置 DataFusion 集群并销毁它，但自动导出和导入我的所有管道也会很有趣。

不幸的是，官方文档并没有帮助我......

谢谢！

4

1 回答 1

4

您可以使用 REST API 来执行此操作。但是，您可能需要一些脚本在给定实例 url 的情况下自动执行此操作。您应该能够从应用程序列表 API 获取管道配置（参考此处）。在您的情况下，您首先需要获取管道列表（在此处参考）然后遍历所有管道并获取单个管道的详细信息，该管道将具有一个名为的属性，该属性configuration将具有配置管道 json。您仍然需要创建一个新的 JSON，其中包含名称、描述、工件信息以及配置属性以及您从后端收到的配置 json。

一个样本看起来像这样，

  1. 在您即将销毁的集群中，GET API 以获取应用程序列表artifactName=cdap-data-pipeline,cdap-data-streams作为查询参数
/namespaces/default/apps?artifactName=cdap-data-pipeline,cdap-data-streams?artifactName=cdap-data-pipeline,cdap-data-streams
  1. 解析响应并遍历单个应用程序并获取应用程序详细信息
namespaces/default/apps/<app-name>

对于每个应用程序获取configuration响应中的属性，并将最终的 JSON 形成类似的东西，


{   
  "name": "Pipeline_1",
  "description": "Pipeline to do taskX",
  "artifact": {
    "name": "cdap-data-pipeline",
    "version": "6.1.0-SNAPSHOT",
    "scope": "USER"
  },
  "config": JSON.parse(<configuration-from-app-detailed-api>) 
}
  1. 然后在您即将创建的新集群中，使用您在上一步中获得的 json 部署管道。

需要注意的一件事是，如果您在旧集群中为管道设置了计划或触发器，则不会在新集群中创建这些计划或触发器。如果您只是部署和运行管道，则管道的其余部分应该可以正常工作。

希望这可以帮助。

[更新] 11/20

刚刚意识到这里有关于访问 REST API 以进行数据融合的文档但是它并不完全涉及如何进行 REST api 调用。这是有关如何执行此操作的示例，

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -w"\n" -X GET <instance-url>/namespaces/default/apps?artifactName=cdap-data-pipeline,cdap-data-streams?artifactName=cdap-data-pipeline,cdap-data-streams

在这里，我们使用 gcloud 来获取对该特定实例的访问令牌。这样做的先决条件是使用 gcloud SDK 登录。身份验证成功后，这应该会成功返回特定实例中的应用程序列表。

于 2019-11-18T21:10:29.673 回答