问题标签 [airflow-2.x]

我正在寻找编写 docker compose 文件以在生产类似环境中本地执行气流。

对于较旧的气流 v1.10.14，docker compose 工作正常。但是相同的 docker compose 不适用于最新的稳定版本，气流调度程序和 web 服务不断失败。错误消息看起来像无法创建审计表。

docker-compose.yaml：

.env：

./scripts/airflow-entrypoint.sh：

我们开始使用 Airflow 2.0，但在创建初始管理员用户时遇到了一个奇怪的问题。Airflow 的安装和运行airflow db init似乎运行良好，但是当我们运行命令时，airflow users create -u <username> --use-random-password -f <firstname> -l <lastname> -r Admin -e <emailaddress>我们得到下面列出的错误重复了大约 50 次：

我们找不到任何文档，所以我们真的不知道该怎么做。任何建议将不胜感激。

我目前正在尝试设置 LDAP 与 Airflow 中现有 LDAP 服务器的集成。过去，我曾尝试制作 cacert (ldap_ca.crt) 并遵循本指南和本指南。

当我启动 Airflow 时，我会看到一个登录屏幕，它不接受 LDAP 服务器上的任何用户，并且在尝试登录时只是清除了用户名/密码框。

这是我的 webserver_config.py 中的当前代码（我也尝试过对 airflow.cfg 进行编辑但没有成功）：

最近一直在尝试学习 Airflow，但是网上的大部分资源都依赖于这个 repo https://github.com/puckel/docker-airflow，不幸的是这个 repo 已经被删除了。

我不熟悉 docker，所以我只是想在本地设置并使用 Airflow。我正在使用 Windows 设置，并且已经让 docker 在我的计算机上工作。Airflow 是否有一个快速设置文件docker-compose？或者我还有其他资源可以看吗？谢谢。

我对气流相当陌生，我目前正试图在我的 SimpleHttpOperators 之间传递信息。

这是检索数据的地方：

然后我想在以下运算符中使用来自此的响应：

如您所见，我尝试通过request_city_information.xcom_pull(context='ti'). 但是，我的上下文在这里似乎是错误的。

由于我的数据已经写入 XComs，因此我认为不需要XCOM_push='True'，正如这里所建议的那样。

自气流 2.x 以来，XCom 似乎发生了变化，因为我发现许多建议的解决方案对我不起作用。
我相信我的思维过程中存在重大差距，我只是不知道在哪里。

我将不胜感激任何参考示例或帮助！提前致谢

从 Airflow 1.10.12 升级到 Airflow 2.0.0 后，尝试运行时出现以下错误airflow webserver：

我刚刚将我的 Airflow 从 1.10.13 升级到 2.0。我正在使用 Kubernetes Executor 在 Kubernetes (AKS Azure) 中运行它。不幸的是，由于 Liveness 探测失败，我看到我的调度程序每 15-20 分钟被杀死一次。因此我的 pod 不断重启。

我在 1.10.13 中没有任何问题。

这是我的 Liveness 探针：

当我查看调度程序日志时，我看到以下内容：

我使用气流 2 任务流 API 创建了一个 DAG：

如何使用 Taskflow API 摆脱“collect_files”与“update_process_info”的连接？

图形：

问候奥利

假设我有如下定义的以下虚拟 DAG：

如果我这样编写我的 DAG（从上游任务传递两个参数），则依赖项将类似于：

但我想定义依赖： A >> B >> livy_task >> C >> D

有没有办法通过使用taskflow api来做到这一点？似乎如果我将任务 B 的输出传递给 livy_task、C 和 D，这三个任务将并行运行。

谢谢！

我没有在气流 2.0.1 的下拉列表中看到临时请求。有人有这方面的信息吗？它是从 2.0+ 中删除的吗？任何帮助将不胜感激，我经常使用它。