问题标签 [ariflow]

在 AWS 控制台中，我执行了以下操作：

1. 创建了一个 S3 存储桶和密钥：s3://my-airflow和s3://my-airflow/dags
2. 设置气流环境。
3. 如此处所述创建并附加了服务角色：https ://docs.aws.amazon.com/mwaa/latest/userguide/mwaa-create-role.html
4. 附加了一个策略以允许我的用户生成这样的令牌：

5. 然后使用 cli 我请求这样的令牌：

它工作并返回了一个 webToken 6。然后我按照建议将 ui 链接拼凑在一起（在 60 秒内）：

并将其粘贴到我的浏览器中。

问题：页面只是旋转，超时，什么都没有。

AWS，秘诀是什么？

所以我的目标是创建一个带有 BigQueryOperators 的 Dag，我可以在我的 SQL 中使用参数化的目标表在 Airflow 中发送它。我检查了很多关于如何向 PythonOperators 发送参数以便在 Airflow 中使用 --conf 调用它们的主题，但我不知道如何将相同的方式应用于 BigQueryOperators 的参数。

我的 dag.py 看起来像这样：

我想知道是否有办法使用气流 trigger_dag 命令或其他东西设置目标表名称（当然，当它没有设置时有一个默认值，所以它仍然可以上传到我的 Dag 存储桶中）

如果有什么不清楚的地方，我可以提供更多的细节和我尝试做的方法。

我正在尝试创建一个 Cloud Composer 环境以在 GCP 上运行 Airflow。但是，我不断收到此错误：

此环境上的 CREATE 操作在 x 分钟前失败，并显示以下错误消息：Composer Backend timed out。当前正在运行的任务是 [stage: CP_COMPOSER_AGENT_RUNNING 描述：“没有发布代理响应。” response_timestamp { 秒：1631717057 纳秒：229000000 } ]。

有谁知道如何解决它？

我正在使用 GCP 作曲家来运行算法，并且在流结束时我想运行一个任务，该任务将执行多个操作，将文件和文件夹从卷复制和删除到存储桶我正在尝试执行这些复制和删除通过kubernetespodoperator. 我很难找到使用“cmds”运行多个命令的正确方法我也尝试使用“cmds”和“arguments”。这是我KubernetesPodOperator和我尝试过的 cmds 和参数组合：