2

我正在使用 AWS Managed Airflow 来编排数据管道。我现在面临的问题是日志没有打印在气流日志中，而不是在云手表上。

我在气流日志中收到以下错误：

*** Reading remote log from Cloudwatch log_group: airflow-Task log_stream: 2021-08-26T08_08_24+00_00/1.log.
Could not read remote logs from log_group: airflow-Task log_stream: 2021-08-26T08_08_24+00_00/1.log.
4

2 回答 2

2

AWS 有针对此特定案例的故障排除指南。

*** Reading remote log from Cloudwatch log_group: airflow-{environmentName}-Task log_stream: {DAG_ID}/{TASK_ID}/{time}/{n}.log.Could not read remote logs from log_group: airflow-{environmentName}-Task log_stream: {DAG_ID}/{TASK_ID}/{time}/{n}.log.

https://docs.aws.amazon.com/mwaa/latest/userguide/t-cloudwatch-cloudtrail-logs.html#t-task-logs

我会检查以下内容：

  1. 验证您是否在 INFO 级别为您的环境启用了任务日志。
  2. 检查 MWAA 执行角色是否附加了 CloudWatch 读取访问策略。
  3. 最后尝试将apache-airflow[amazon]提供者添加到 MWAA 要求文件中。
于 2021-08-30T06:53:24.220 回答
0

这是一个与角色和政策有关的问题。

MWAA 执行角色没有附加所需的 CloudWatch 访问策略。

于 2021-09-14T11:47:06.393 回答