问题标签 [airflow]

我正在使用 macOS 开发盒并安装了气流，不幸的是运行airflow webserver -p 8080导致“AttributeError”

pip freeze说我的版本是airflow==1.7.1.2

我的蟒蛇是Python 3.5.1 |Anaconda 4.0.0 (x86_64)| (default, Dec 7 2015, 11:24:55)

以下是事件的顺序：

• 我做了一个anaconda环境
• 我安装了一些软件包，包括气流
• pip install --upgrade git+https://github.com/airbnb/airflow.git
• AIRFLOW_HOME在我的变量中设置.bash_profile
• airflow initdb工作正常

• airflow webserver -p 8080给出以下

  /li>

在尝试将 Airflow 的模板功能（通过 Jinja2）与 PostgresOperator 一起使用时，我一直无法渲染内容。我很可能做错了什么，但我对问题可能是什么感到很迷茫。这是一个重现我遇到的 TemplateNotFound 错误的示例：

气流.cfg

相关的 DAG 和变量

/example_csv_to_redshift/csv_to_redshift.py

/example_csv_to_redshift/copy_to_redshift.sql

调用airflow render example_csv_to_redshift load_table 2016-06-14会引发以下异常。请注意，对于另一个 DAG，我也遇到了这个问题，这就是为什么您会看到example_redshift_query_to_csv提到的路径。

任何关于修复的想法都非常感谢。

我想在Windows机器上安装气流工作器。

我已经 pip 安装了它，然后从 linux 安装中复制了气流文件夹，但这让我陷入了一个错误的兔子洞！Cygwin 在气流谷歌组中被简要提及（见这里）但是我不确定安装所有东西并让它运行模拟器的稳健性？

如何在寡妇中设置气流工作者：可以本地安装还是应该使用 *nix 模拟器？

我用Spark做ETL，偶尔会出现“could not allocate memory”的错误。

这里的问题是即使失败，它也会返回退出代码 0。

我正在使用 Airflow BashOperator，它使用 bash 退出代码作为成功参数。它使提到错误的工作取得了错误的成功。

错误日志如下所示。

我的问题是，为什么提交过程本身失败时退出代码为 0？如何使它正确？

谢谢！

我是 Airflow 的新手，我正在尝试为我的 DAG 创建图表，但我不断收到以下错误：

我的查询看起来像：

我正在使用Airflow来安排批处理作业。我有一个每天晚上运行的 DAG (A) 和另一个每月运行一次的 DAG (B)。B 依赖于 A 已成功完成。但是 B 需要很长时间才能运行，因此我想将其保存在单独的 DAG 中，以实现更好的 SLA 报告。

如何使 DAG B 的运行依赖于 DAG A 在同一天的成功运行？

我有一个由气流调度程序触发的 DAG，每天午夜后 1 分钟运行。我想将每天的开始时间更改为动态，一天从凌晨 1:00 开始，第二天在 00:16 等。气流中是否有任何配置可以做到这一点？如果不是我能做什么？

我已经配置了气流并创建了一些调用多个运算符的 Dags 和 subDags。

我的麻烦是，当操作员运行并完成工作时，我想以某种 python 结构接收结果。例如：

文件1.py

文件2.py

函数subdag_callHive从另一个 python 脚本调用，其中定义了主 Dag 和所有其他所需的参数。

我只需要能够从 HiveOperator (*select * from public.mytable limit 4;*) 获得结果，在这种情况下为 4 个值。

返回的 dag_subdag 是一个对象< class 'airflow.models.DAG' >并包含传递给调用的所有属性/数据，但没有关于 HiveOperator 做了什么的信息。

这可能吗？如果是这样，如何实现。

我正在尝试从气流的官方仓库运行这个新贵脚本：https ://github.com/apache/incubator-airflow/blob/master/scripts/upstart/airflow-webserver.conf

当我运行它时，这是输出：

但是只要做exec /usr/local/bin/airflow webserver就会完美地运行它而没有任何打嗝，这令人费解。有谁知道为什么会这样？

* 您可以获取气流pip install airflow进行测试，以防您需要自己查看。

我创建了一个包含 3 个任务的 DAG。其中一项任务失败，因此在气流 UI 中，该作业显示为失败。但是当我回填之前的任务时。他们现在成功了，但 JOB 的状态仍然保持不变，即使单个任务成功，它仍然显示失败。我错过了什么吗？