问题标签 [airflow-webserver]

当手动触发 DAG 时，有多种方法可以传递配置。它可以从 UI 中完成，通过气流 CLI 使用--conf参数和使用 REST API。

但是，当使用 cron 表达式调度 DAG 时，DAG 总是会失败，因为 DAG 中的任务需要来自conf.

是否有可用于为值设置“默认”值的 DAG 级别配置conf（无需对 Python 代码本身进行空检查并硬编码默认值）

我不想在代码本身中执行此 null 检查的原因是因为我希望conf尽可能通过 Airflow API 公开键和默认值

我有一个问题，我需要每个月的第一天启动一个 DAG，但我有一个问题，DAG 于 10 月 1 日开始，但在 11 月 1 日当天执行，我需要 10 月 1 日执行 10 月 1 日和 11 月 1 日执行 1十一月，不耽误执行一个月。

我的调度程序是：'0 10 1 * *'

谢谢

最近我已将气流升级到更新的可用版本 2.2.1，并得到许多用户使用气流的奇怪错误。

刷新 2-3 次后，我可以看到网络服务器 UI 页面，但它在每一个第一个操作中都会中断。

我为此使用了 LocalExecutor。所有配置都与我去年用于生产的配置相同。

此安装有两个不同之处：

1. 使用 python pip commond 而不是标准设置安装并作为服务运行。
2. 不同（升级）版本 - 2.2.1

当我转到Webserver UI中的Admin-->Xcom部分时，我收到此错误：Airflow 2.1.2

我怎样才能解决这个问题？

Dockerfile：

码头工人组成：

我最近开始使用 Apache Airflow，我的第一个 DAG 上有 2 个任务。第一个任务是从网站上抓取功能。第二个任务是将第一个任务的输出导出到 postgresql db。触发 DAG 时出现错误。第二个任务出错了。错误是airflow FATAL: password authentication failed for user "postgres"..

错误：

这是任务的第二个功能：

这是连接的设置：

同时，当我在 jupyter notebook 排除气流库上运行相同的代码时，它们没有问题/错误。第一个函数的输出存储到 postgres db。你知道为什么会这样吗？

当我需要在气流上创建所有元数据表时遇到问题。

我创建了一个指向本地 mariadb-mysql 的 docker-compose，当我启动 compose 时，某些表不会创建所有变量或直接不创建表

这是我尝试执行气流时的问题。

手动创建许多表，但很难全部完成。

任何有一个带有 mariadb-mysql 表的 script.sql 吗？

此时你使用apache气流2.1.3和python 3.9

我正在从 AWS Lambda 触发一个 DAG，它将接收我解析为的 s3 uri

效果很好。但是，在下一步中，我想使用

但是，dag 甚至无法导入。如何在 conf 中对某些路径进行硬编码以避免此错误？

我是 Airflow 的新手，所以如果这是一个愚蠢的疑问，请原谅我。我在托管 Airflow 的服务器中的工作区崩溃了，我试图重新启动它，但到目前为止我所有的尝试都是徒劳的，我在气流调度程序中遇到以下消息

我的调度程序正在另一个终端中运行并且状态如下，我现在已经无数次杀死并重新开始我的工作并且我束手无策

现在，我需要知道两件事：

1. x = c，我正在尝试使用这个变量 x 来定义一个 for 循环，用于下一个任务需要拍摄的次数。不知何故，Airflow UI 是从一个基本编译的 .py 文件呈现的，并且 x 加载的值为 0 而不是 1，即使我global c在函数中这样做。有时，airflow UI 会偶然显示 1 的值。我想知道它背后的逻辑。如何控制全局变量？

2. 对于每个 dagrun，我想conf摆脱气流模板范围并在全局 python 区域 [非气流模板] 中使用它。我了解，我可以在气流模板中使用 jinja 宏。但是，我需要访问气流范围之外的 conf。 y = dag.get_dagrun(execution_date=dag.get_latest_execution_date()).conf 该语句为我提供了最新的 dag_run conf。但是，对我来说，我有多个 DAG_runs 同时运行，所以我可以在这个变量中为那个 dagrun 获取当前的 dag_run conf 吗？

我有一个不想安排的气流。我schedule_interval:None在我的 dag 文件中使用，但 dag 在部署后仍会自动运行。使用的气流版本：2.1.0

附气流截图。 我在我的 dag 文件中使用以下 python 代码。

此外，我已将气流环境变量设置为以下内容：

• AIRFLOW__CORE__LOAD_EXAMPLES: "False"
• AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL: 30
• AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "False"