问题标签 [airflow-webserver]

我使用配置文件中的以下配置启用了哨兵 [1.5.0] 和 apache 气流 [版本 2.2.2]。

它似乎适用于各种错误。然而，Airflow 内部错误如Error while health checking kube watcher process. Process died for unknown reasons,broken_pipe等ApiException: too old resource version非常频繁（每天接近 3k 错误），这很快耗尽了我的哨兵配额。

虽然我不确定如何解决这些问题，但我只想禁用那些通过哨兵传播的内部错误，并且只触发 DAG 执行错误/失败的事件。

注意：我设置的气流执行器是KubernetesExecutor，我的气流部署在 GKE 中。

任何帮助，将不胜感激。

我有一个 DAG，需要安排在工作日（周一至周五）上午 9 点至下午 4 点之间每 10 分钟运行一次。我如何在气流中做到这一点。

我想写下气流 dags cleanup dag。我' https://github.com/teamclairvoyant/airflow-maintenance-dags供参考。我编写了一个清理 DAG，它获取所有 dag 并检查它们的时间表，如果是一次，它会删除 DAG。当我尝试运行清理 dag 时，它会抛出 sqlchemy 错误（已附加屏幕截图）。请帮我解决这个错误。

我们重新启动了运行气流服务的服务器。一切正常，但由于无法访问 Web 服务器 UI，气流 Gunicorn 服务未运行。

网络服务器日志：每当我们启动网络服务器时，它就会卡住：

此行后没有任何反应。

现在，当尝试启动 gunicorn 时出现 App not found 错误：

• 气流版本：1.8.0
• 独角兽版本：19.3.0
• Python版本：2.7

我的一个 DAG 设置为每 5 分钟运行一次。任务是简单地同步一些文件，没有什么太复杂的。但从昨天开始，一些运行似乎一直处于“运行”状态。这都是随机的，不知道为什么一些运行成功，而其他运行则卡在运行中。

气流版本：2.0.1

如果成功，该作业不应超过几秒钟。

该 DAG 的代码

对于不成功的，worker 中没有创建日志文件。对于成功的人来说，worker log看起来像这样

这个成功的运行由不成功的运行继续并成功，这些运行仍在“运行”。

Scheduler log看起来像这样

我尝试删除所有正在运行的作业并重新启动气流调度程序和工作程序，但它似乎不起作用。此外，由于版本是 2.0.1，因此问题可能与之前版本中报告的不同。

我在气流/dags 目录中有我的 dag 的目录，当airflow dags list登录到网络服务器时调用时，dag 的 ID 会显示在列表中。airflow dags list但是，登录到调度程序时调用会返回以下错误：

dag 也不会显示在网络服务器 UI 的列表中。当在 url 中手动输入 dag_id 时，它会在正确的位置显示每个任务，但通过Trigger DAG按钮触发手动运行会导致 pop_up 声明Cannot find dag <dag_id>。有没有人遇到过这个问题？这是内存问题吗？

我的 DAG 代码是用 python 编写的，生成的 DAG 对象有大量的任务（>80）。使用 kubernetes 执行器在气流 1.10.15 上运行

我有一个简单的PythonOperator：

在查看日志窗口时，我需要刷新页面才能看到新日志。

是否可以自动更新日志？

我有 2 个DAGS：

1. example_call_other_dag看起来：

第二个任务（TriggerDagRunOperator）调用第二个DAG：

2. example_xcom看起来：

有没有办法同时查看 2 个连接DAG的 s graph view？

我不想看到类似的东西：

是否可以 ？我该怎么做 ？

我正在尝试将 Airflow 与 Okta 集成，但是在线文档很少。我指的是一篇博客文章，但我似乎无法让 Okta 工作。

博客网址：https ://tech.scribd.com/blog/2021/integrating-airflow-and-okta.html

如果有人在 Okta 中使用过 Airflow，请分享您的经验。

此外，我遵循了Airflow + Okta 集成问题 OAuth2.0中列出的所有步骤。

我在禁止访问时遇到同样的问题。