问题标签 [apache-airflow]

“rabbitmqctl list_connections”显示为正在运行，但在连接选项卡的 UI 上，在客户端属性下，我看到“connection.blocked: true”。

我可以看到消息在 RabbitMq 中排队，并且连接处于空闲状态。

我正在用 Celery 运行 Airflow。我的工作根本没有执行。

这是作业没有执行的原因吗？

如何解决问题以便我的作业开始运行

下面是我使用的配置

但是作业没有运行..调度程序显示它正在检查如下状态

Airflow UI 已启动并正在运行。芹菜花不显示任何工人。我的作业没有运行。

以下是我开始遵循的顺序。

气流调度器

气流网络服务器-p 8080

气流工作者

我有什么遗漏吗？

所以我了解了 Apache Airflow 的基础知识，我可以在我的计算机上运行 dags/tasks（太时尚了！）。但是，我希望能够在我的计算机关闭时运行这些 - 所以我购买了一个每月 5 美元的 Lightsail 实例并尝试在那里安装 Airflow pip install airflow。

我不断得到附加的输出。似乎实例上没有足够的内存来完成命令或其他东西，但我觉得如果这是真的，它会输出一条错误消息......

想法？

当气流网络服务器显示错误Broken DAG: [<path/to/dag>] <error>时，我们如何以及在哪里可以找到这些异常的完整堆栈跟踪？

我尝试了这些位置：

/var/log/airflow/webserver-- 在执行的时间范围内没有日志，其他日志是二进制和解码的，strings没有提供有用的信息。

/var/log/airflow/scheduler- 有一些日志，但是是二进制形式的，试图读取它们并且看起来主要是 sqlalchemy 日志，可能用于气流数据库。

/var/log/airflow/worker-- 显示运行 DAG 的日志，（与您在气流页面上看到的相同）

然后也在/var/log/airflow/rotated-- 找不到我正在寻找的堆栈跟踪。

我正在使用气流 v1.7.1.3

我知道当你airflow webserver通过你的家庭终端运行时，你可以通过访问http://localhost:8080查看 UI 界面。我能够做到这一点。

但是，我有一个虚拟的 Amazon Lightsail 实例，我通过 ssh 进入。然后我从那里跳到虚拟环境中运行airflow webserver命令。这成功执行，但此后我无法访问 UI 界面。我尝试在浏览器中输入以下地址：

1. [IP地址]：8080
2. [IP地址]
3. [IP地址]：80

还有许多其他人。知道如何访问 UI 界面吗？

我有如下的 dag 文件。在这里我没有重试。但是，我想确保特定文件（bash1、bash2）应该重试 1。但不是其他文件。

以下是默认参数。

我将 dag 定义如下： dag = DAG('x', default_args=default_args, schedule_interval = "15 0,1,2,3,13,14,15,16,17,18,19,20,21,22, 23 * * *")

我的第一个运算符定义如下：

我的第二个运算符定义如下：

我的最终运算符定义如下：

Test_join 取决于 bash1 和 bash 2。

我应该怎么做才能确保 bash1 和 bash2 退休 2 但不是 Test_join。

在此示例中，我看到 EmrCreateJobFlowOperator 接收在 Airflow UI 中设置的 aws/emr 连接：

在 Airflow UI 的连接选项卡中，我如何添加我的 AWS 凭证以便 DAG 可以获取它们？我没有看到任何类型的 AWS 连接。任何想法？

我设置了一些 dags，最终以 spark-submit 命令结束 spark 集群。如果这有所作为，我正在使用集群模式。无论如何，所以我的代码有效，但我意识到如果火花作业失败，我不一定会从 Airflow UI 中知道。通过集群模式触发作业，Airflow 将作业交给可用的工作人员，因此气流不知道火花作业。

我该如何解决这个问题？

我想传递执行日期，它在变量 {{ ds }} 中。但是，我通过一个函数传递了它，它没有得到执行日期。

你知道我如何在上面的上下文中使用变量吗？

嗨，我还是 Airflow 的新手。我想知道 Airflow 如何连接到 Spark？我有一台具有不同帐户（或配置文件）的服务器来访问 Spark 集群。我想知道气流是否有固定的轮廓来连接火花？或者它遵循用户配置文件？

另外，是否可以在 Airflow 中为用户设置不同的访问权限？例如，在 Spark（或 hdfs）中有权访问位置 A 的用户 A 只能运行与位置 A 相关的任务。（因此无法从位置 B 运行任何作业）

提前致谢。