问题标签 [mwaa]

我有两个 dags Dag 1 和 Dag 2

任务 A、B 和 C 在 Dag 1 中 任务 D、E 和 F 在 Dag 2 中

如何实现第三个 Dag 来利用任务？

我希望 Dag 3 使用任务 A，然后是任务 E，然后是任务 C，而不重写函数

仅当任务未完成时，如何轮询 Airflow dag 以在 1-3 之间每 30 分钟运行一次？

我用 cron 语法尝试了它，即使任务成功，它也会在 1-3 之间运行几次。(0,30 1-3 * * *)

如何配置它以便在找到文件时只运行一次？否则它应该继续轮询直到找到文件

我正在使用 AWS Managed Airflow 来编排数据管道。我现在面临的问题是日志没有打印在气流日志中，而不是在云手表上。

我在气流日志中收到以下错误：

我有一个关于从 Airflow（东京地区的 Apache Airflow 的 Amazon Managed Workflows）调用 AWS lambda（首尔地区）的问题。

问题是当我从 Airflow 调用 Lambda 函数时，Airflow UI 显示该函数失败。

奇怪的是，当我从 AWS 日志中检查这是否属实时，有问题的 Lambda 函数运行良好；状态码 200。

我听说 Airflow 的 Lambda 的超时阈值为 5 分钟。

事实上，其他不到 5 分钟的 Lambda 函数在气流中是成功的。

我的问题是：

1. 5分钟限制是真的吗？
2. 如果是这样，我可以在某处配置限制吗？

您的帮助将不胜感激

下面是我的代码的一部分。

我正在设置一个 AWS MWAA 实例。

我有自定义运算符，它们本身引用其他 python 文件。我遵循了此处建议的目录结构（由 astronomer.io 提供），并且能够毫无问题地在本地部署我的气流环境。

但是，将我的代码库移动到 S3 存储桶时，AWS 服务无法找到我的自定义运算符。

我在 S3 存储桶上的文件结构如下所示：

• s3://{我的存储桶名称}
  • 达格斯
    • <dag 1>.py
    • ETC...
  • 要求.txt
  • 插件.zip

我的 plugins.zip 文件结构看起来像

• 插件.zip
  • 库
    • <我的自定义库 1>.py
    • ETC...
  • 运营商
    • <导入自定义库 1 的操作符>.py
    • ETC...

但是我收到错误：

ModuleNotFoundError: No module named 'operators'

服务启动后从 python 开始。

我知道一些文档对这些附加模块使用气流“插件”结构，但这似乎没有必要，甚至在我在这里分享的第一个链接中建议不要这样做：

...根据 Airflow 文档，可以使用 Airflow 的插件机制添加 [插件]。然而，这使问题过于复杂，并导致许多人感到困惑。Airflow 甚至正在考虑弃用使用插件机制来处理钩子和操作符。

有谁知道在 MWAA 中导入简单的自定义 python 模块和操作符使用什么文件结构？

我正在使用 AWS 托管气流来编排数据管道。管道中的所有 dag 运行都是从 lambda 函数手动触发的。我希望 Airflow 在任何给定时间执行一次 dag。我正在使用max_active_runs并concurrency控制它，但由于某种原因它不起作用。当两个 dag 运行并行执行时，两个 dag 运行都会被执行，而不是一个被执行，另一个被排队。

气流版本：2.0.2

Dag 初始化：

气流 Dag 运行：

我是气流的新手。我正在做一个项目，我需要在 Airflow 工作节点中执行一个 php 脚本。我正在使用 S3 存储桶来获取所述脚本，但是当我使用 bash 命令触发它们时，我得到 php command not found 错误。还有没有像 PythonOperator 这样执行 php 脚本的运算符

{到目前为止我尝试过但没有用的东西}：

1. 尝试安装 php 编译器/解释器 -> 你需要 root 权限错误
2. 尝试使用 sudo -> sudo command not found 错误

PS tbh 我非常接近打我的显示器，请帮助！

我正在尝试将 DBT 与 AWS MWAA 集成，但出现以下错误：

我的达格是：

我正在使用提供的插件：

我尝试通过将配置添加到 false 来删除部分解析，即使这样我也收到了这个错误。

关于如何解决它的任何指针。

我正在使用https://github.com/aws/aws-mwaa-local-runner 在本地测试 Airflow

问题：无法从 Secretmanager 获取连接详细信息

我尝试如下更新docker compose，但它没有成功

我在 EC2、AWS 上使用 MWAA 气流。我有这个错误信息：第 1 行 -

结束线 -

请有人知道问题是什么以及如何解决？