问题标签 [airflow-2.x]

我正在尝试使用 TaskGroup 创建动态任务，并将结果保存在变量中。该变量根据数据库查询每 N 分钟修改一次，但是当第二次修改该变量时，调度程序发生故障

基本上我需要根据查询中收到的唯一行数来创建任务。

以 TaskGroup(f"task") 作为任务：

有没有办法用任务组来做到这一点？

你好开发人员我一直在努力弄清楚如何利用 AWS RDS 作为气流元存储

我在浏览了几个帖子和博客后创建了这个问题

参考 ：

• https://github.com/puckel/docker-airflow/issues/149
• https://github.com/puckel/docker-airflow/pull/253
• https://www.youtube.com/watch?v=aTaytcxy2Ck&t=499s

我尝试使用 Postgres 版本 9.6.17-R1 和版本 12

这是我正在使用的 Docker 组合文件

这是我尝试过的

docker-compose up 气流初始化引发错误

我尝试了很多搜索但找不到解决方案任何帮助都会很棒

我们正在将我们的气流服务升级到部署在 AWS 上的 2.0.1，但是，升级后，它具有默认的身份验证页面。气流2

正如其他在线帖子所建议的那样，我们已经在配置文件中为我们的 ansible 部署设置了 authenticate 和 rbac 为 false，但这并没有解决问题。

现在，我使用这样的变量创建多个任务，它工作正常。

但是出于某种原因我需要使用 XCOM 值而不是使用变量。是否可以动态创建具有 XCOM 拉值的任务？

我尝试像这样设置值但它不起作用

body = "{{ ti.xcom_pull(key='config_table', task_ids='get_config_table') }}"

对于在文件底部声明的 DAG，参考随附的屏幕截图，我希望get_latest_waffle_switch_file和create_sos_waffle_switch被跳过。我不确定如何/为什么get_latest_waffle_switch_file触发任务。

我认为这应该是宣布 DAG/任务关系正确的问题。

任何指针都会非常有帮助！提前致谢_/\_ [1]：https ://i.stack.imgur.com/eUUbh.png

我正在使用气流 2.0。我正在尝试使用 mac 上的 docker 容器连接到 redshift。

这是我的 dag.py：

这是连接的定义

Airflow UI 显示此错误，我不知道如何摆脱它。

损坏的 DAG：[/opt/airflow/dags/redshift.py] Traceback（最近一次调用最后一次）：文件“”，第 219 行，在 _call_with_frames_removed 文件“/opt/airflow/dags/redshift.py”，第 7 行，在从airflow.providers.jdbc.hooks.jdbc 导入JdbcHook ModuleNotFoundError：没有名为“airflow.providers.jdbc”的模块

任何帮助将不胜感激！！

我是气流新手，我正在尝试在气流 2.0.1 中使用 MysqlOperator 测试 Mysql 连接。但是，我收到有关ssl 连接错误的错误。我试图添加额外的参数来禁用 ssl 模式，但我仍然遇到同样的错误。

这是我的代码，（我试图在代码中传递ssl param = disable），但它不起作用。

这是错误

我们试图从 dag 代码中删除最后两个参数，并添加了额外的字段（conn-airflow UI）。添加这个json

{“ssl”：假}

并且问题出现另一个类似的错误

在 Airflow 2 上，我的 dag 没有显示在 UI 上，并且我收到了DAG 导入错误 (...)。错误消息不足以让我调试（它是一个自定义运算符，有很多自定义逻辑 - 所以我不想深入了解错误本身的细节）。在 Airflow 1.XI 上可以使用 cli：

为了获得更详细的调试信息，气流 2 上有什么类似的东西吗？我正在寻找一个 cli 命令/UI 选项，它将为我提供比我在网络服务器主屏幕上看到的更详细的错误消息。

默认情况下，airflow 2.0.1 在UTC时区写入日志。但我希望日志以本地/机器 [非 UTC] 时区写入。我尝试在下面进行更改。但没有运气

AIRFLOW__WEBSERVER__DEFAULT_UI_TIMEZONE: Asia/Kolkata

AIRFLOW__CORE__DEFAULT_TIMEZONE: Asia/Kolkata

我正在使用气流 2.0.1

我创建了一个如下所示的 REST API，它接受用户名和密码，并返回用户是否通过身份验证。

API：http://localhost:port/api/authenticate

请求正文：{“用户名”：“用户”，“密码”：“pswd”}

现在，我必须在气流代码中使用这个 api 来验证用户的网络服务器登录。

我已尝试遵循https://airflow.apache.org/docs/apache-airflow/stable/security/api.html中的“滚动您自己的 API 身份验证”部分

但是我仍然不太清楚需要做什么。

非常感谢这里的任何帮助。如果您需要更多详细信息，请告诉我。