0

我正在寻找一种在数据库表中记录管道状态的方法。假设这是一个非常常见的用例。有什么方法可以录制

  1. 完成管道的状态和时间。
  2. 选定的个别活动的完成状态和时间。
  3. 单个运行/执行的 ID。

我发现的唯一方法是使用依赖于单个活动的 SQLActivity，但即使在那里我也无法访问父/节点的状态或时间戳。

我正在使用 jdbc 连接来连接到远程 SQLServer。管道用于将 S3 文件复制到 SQLServer DB 中。

4

1 回答 1

0

嗯......我还没有尝试过，但我可以用一些指针来打击你，以可能达到预期的结果。但是，您将不得不进行研究并找出实际的实施方式。

选项1

  • 创建一个 ShellCommandActivity，它已depends on设置为管道中的最后一个活动。您的 shell 将使用 aws-cli 来list-runs获取当前运行的详细信息，您可以使用过滤器来实现这一点。
  • 使用暂存数据将先前 ShellActivity 的输出移动到 SQLActivity 以最终插入到目标 SQLServer。

选项 2

  • 使用 AWS lambda 使用过滤器定期运行 aws-cli data-pipeline list-runs，并使用最新活动更新目标表。资源
于 2019-02-21T22:52:05.780 回答