2

我想使用 AWS Data Pipeline 服务，并使用基于 JSON 的手动机制创建了一些服务，该机制使用 AWS CLI 创建、放置和激活管道。

我的问题是，如果管道定义发生变化，如何自动编辑或更新管道？我可以想象改变的事情可能是计划时间、活动或前提条件的添加或删除、对 DataNodes 的引用、资源定义等。

创建管道后，我们无法编辑官方文档中提到的很多内容：http: //docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-manage-pipeline-modify-console.html #dp-edit-pipeline-limits

这让我相信，如果我想自动更新管道，那么我必须删除并重新创建/激活一个新管道？如果是，那么下一个问题是如何创建一个自动化流程来识别先前版本的 ID，将其删除并创建一个新 ID？本质上是尝试为此构建一个发布管理流程，其中配置 JSON 文件会自动发布和部署。

大多数命令，如激活、删除、列表运行、put-pipeline-definition 等。使用管道 ID，直到创建新管道才知道。我找不到任何在更新或重新创建时保持不变的东西（createpipeline 命令的唯一 ID 和名称参数是一致的，但是我不能将它们用于上述任务（我需要管道 ID）。

当然，我可以尝试编写 grep 的 shell 脚本并搜索输出并尝试创建一个脚本，但还有其他更好的方法吗？我缺少的其他一些信息？

非常感谢。

4

1 回答 1

3

您无法完全编辑计划或更改参考，因此创建/删除管道似乎是您的方案的最佳方式。

您将需要管道 ID 来删除管道。难道不能在某个地方记录下来吗？例如，您可以将最后使用的 id 文件存储在本地或 S3 中。

我能想到的其他一些方法是：

  • 如果您的帐户中只有 1 个管道，您可以列出管道并使用唯一的结果
  • 如果您有管道名称，您可以列出管道并找到 id
于 2015-07-07T19:06:15.460 回答