0

我正在 aws 上构建一个数据湖管道，其中包括许多 AWS 服务，如 s3、cloudwatch、lambda、glue crawler、glue job 等。管道流程的工作方式如下：

- cloudwatch schedule a cron job to trigger a lambda to fetch external data and save them in s3 bucket. 
- a lambda will be triggered whenever a file is uploaded to the s3 bucket who trigger a glue crawler
- cloudwatch listen on glue crawler state change and trigger a lambda which calls a glue job to do data ETL

它工作正常，但我觉得很难监控整个过程。我唯一能得到的是保存在 cloudwatch 中的日志和一些通知/警报。有没有更好的方法来监控这条管道？就像在工作流程图中查看它一样查看每次执行的时间。

4

1 回答 1

0

您可以尝试 AWS X-Ray。AWS X-Ray 可帮助开发人员分析和调试生产、分布式应用程序，例如使用微服务架构构建的应用程序。它在用户请求通过您的整个应用程序时跟踪它们。它聚合了组成应用程序的各个服务和资源生成的数据，为您提供应用程序执行情况的端到端视图。在此处查看更多详细信息。

于 2019-08-08T01:44:17.987 回答