0

我正在 AWS 中部署 Managed Airflow (MWAA) 并在 cloudformation 中收到以下错误。我给出的 log_format 与气流文档中提到的相同,但 CFN 仍然给出错误。

资源处理程序返回消息:“提供的请求无效:某些提供的配置没有预期的格式:调度程序,例如:core.log_format。(服务:Mwaa,状态代码:400,HandlerErrorCode:InvalidRequest)

以下是我在 cloudformation 中提供的 Airflow 配置选项。

     AirflowConfigurationOptions:
        core:
          parallelism: 64
          default_task_retries: 3
          default_timezone: Australia/Melbourne
          dag_concurrency: 16
          maximum_active_runs_per_dag: 16
          load_examples: False
          load_default_connections: False
          log_format: "[%%(asctime)s] {{%%(filename)s:%%(lineno)d}} %%(levelname)s - %%(message)s"
        webserver:
          default_ui_timezone: Australia/Melbourne
        scheduler:
          catchup_by_default: False
          allow_trigger_in_future: True
        operators:
          default_owner: vulcan
        smart_sensor:
          use_smart_sensor: True
          shards: 8
        logging:
          remote_logging: True
          remote_log_conn_id: s3
          remote_base_log_folder:
            - Fn::ImportValue: xxxxx
4

1 回答 1

0

在 CFN 中提及气流配置的正确方法是:

  env:
    Type: AWS::MWAA::Environment
    Properties:
      AirflowConfigurationOptions:
        core.parallelism: 64
        core.default_task_retries: 3
        core.default_timezone: Australia/Melbourne

并且应该首先使用 AWS Secret manager 创建远程登录连接,然后可以在 cfn 中的远程日志记录气流配置中使用它。

于 2021-07-10T03:40:51.557 回答