问题标签 [airflow-2.x]

我正在尝试在 anaconda3 docker 映像上运行气流。一切正常，除了我无法使用以下命令在后台运行气流网络服务器和调度程序：

它们都从前台开始，我必须为它们打开一个新终端才能运行。

我们有一个 Airflow（Celery 执行器）设置，可以在我们的 K8s 集群上运行任务。使用 KubernetesPodOperator 的任务可以访问 K8s 机密，如文档中所述。其余任务在 K8s 集群之外的 Celery 工作人员上运行。

使用其他运算符（例如 SqlSensor）的任务如何访问与使用 KubernetesPodOperator 的任务相同的 K8s 机密？

我使用 docker 镜像在 ecs fargate 上部署了 webserver、scheduler、flower 和 worker。我正在使用最新的气流版本 2.1.2。当我运行 dag 时，工作节点抛出错误，说明如下：

我尝试在工作人员的 ecs fargate 中更改主机名，但它没有反映。如果我重新启动任务将被杀死。有人能帮我吗。

我已经安装了最新版本的 Airflow。配置为使用 LDAP 时，不会显示用户列表中的编辑记录。

当为 auth db 配置时，它按预期工作。

这可能是一个错误吗？

出现以下错误：AttributeError：模块“pgdb”在气流网络服务器中没有属性“paramstyle”。使用气流：2.1.2 和 python：3.6

日志

我从 SequentialExecutor 切换到 LocalExecutor，因为我希望我的 dag 实例之一并行运行。当我并行运行它们或作为单个实例运行它们时，我收到了 postgress 错误。

在我的 dag 中，我有 3 个 bash 操作员任务：“test1_run”、“test2_run”和“test3_run”

我正在使用以下命令从 CLI 触发 dag：

我正在附加堆栈跟踪

当一个任务完成时我收到此错误，并且在上一个任务成功完成后它会尝试加载下一个任务

知道如何解决这个问题吗？

我们已将气流从 2.0.2 更新到 2.1.4，并在“webserver_config.py”中使用 LDAP 进行身份验证，一切正常。我们以管理员身份登录并检查了管理员角色中的权限（所有访问权限都已授予）。

在新的气流版本中，“+”按钮在 gui 的 url .../users/list/ 中消失了，但我们可以通过气流 cli 创建用户。

这是 LDAP-Auth 的功能还是配置错误？

在 Airflow 2 任务流 API 中，我可以使用以下代码示例轻松地在任务之间推送和拉取 XCom 值：-

我可以看到传递给 check_height 的 val 是 202，并且包含在 xcom 默认键“return_value”中，这在某些时候很好，但我通常更喜欢使用特定的键。

我的问题是如何使用命名键推动 XCom？这在以前使用 ti.xcom_push 非常简单，您可以在其中提供您希望将值填充到其中的键名，但我不能完全说明如何在任务流 api 工作流中实现这一点。

将不胜感激任何指针或（简单，请！）如何做到这一点的例子。

我正在使用 Airflow2.0 并KubernetesPodOperator希望运行一个命令，该命令将操作员运行的图像内部的文件用作参数。这是我使用的：

但这给了我错误：

该图像不使用任何宏。

有人有任何线索吗？我做错了什么？

我正在尝试在执行数据流作业的 Airflow 2.1.2 中运行作业。数据流作业从存储桶中读取数据并将其上传到 bigquery。DAG 中的 dataflow_default_options 区域定义为 europe-west1，但它被 DAG 中的实际作业覆盖到 us-central1。因此，数据流作业在大查询上传时失败，因为该区域是 us-central1

在我使用旧版本的气流（1.10.15）之前它工作正常。下面的代码：

如果我将 dataflow_task 选项中的区域更改为 europe-west1，则 Dataflow 作业会通过，但是它在 Airflow 中失败并显示 404 错误代码，因为它等待错误区域（us-central1）中数据流作业的 JOB_DONE 状态.

我错过了什么吗？任何帮助将不胜感激？