问题标签 [airflow]

我正在为我的数据管道项目使用气流。我已经在气流中配置了我的项目，并使用以下命令将气流服务器作为后端进程启动

服务器在后端成功运行。现在我想在气流中启用身份验证并在气流.cfg 中完成配置更改，但身份验证功能未反映在服务器中。当我在本地机器上停止并启动气流服务器时，它可以工作。

那么如何在我的服务器中重新启动我的守护进程气流网络服务器进程？

我主要看到 Airflow 用于 ETL/投标数据相关的工作。我正在尝试将它用于业务工作流程，其中用户操作将来会触发一组相关任务。其中一些任务可能需要根据某些其他用户操作来清除（删除）。我认为处理此问题的最佳方法是通过动态任务 ID。我读到 Airflow 支持动态 dag id。因此，我创建了一个简单的 python 脚本，它将 DAG id 和任务 id 作为命令行参数。但是，我遇到了使它工作的问题。它给出了 dag_id not found 错误。有没有人试过这个？这是我在命令行上作为 python (python tmp.py 820 2016-08-24T22:50:00) 执行的脚本代码（称为 tmp.py）：

我不得不说气流和运行 cron 非常令人困惑。我只想从现在开始每 5 分钟启动一次 cron。创建一个复杂的 dag 很容易。不是根据文档弄清楚运行 cron 的逻辑。

当我运行以下代码时会发生什么？它运行的每一秒都会打印以下内容：

下面是我的代码。

我正在试验数据管道的气流。不幸的是，到目前为止，我无法让它与 bigquery 运算符一起使用。我已经尽我所能寻找解决方案，但我仍然卡住了。我正在使用本地运行的顺序执行器。

这是我的代码：

错误信息：

我尝试在我的 Airflow 安装中运行Python 运算符示例。该安装已在同一台机器上部署了 webserver、调度程序和 worker，并且对于所有非 PytohnOperator 任务都没有任何抱怨。任务失败，抱怨无法导入模块“unusual_prefix_*”，其中 * 是包含 DAG 的文件的名称。

完整的堆栈跟踪：

一段时间后，气流超过为特定池定义的插槽限制。重新启动后它工作正常，正在为此寻找永久解决方案。

气流版本 - 1.6.2

提前致谢。

我正在使用带有 celery Executor 的气流。现在我计划为一项任务开发用户交互，以决定在 DAG 中使用 BranchOperator 选择分支。它通过运行连续循环来检查数据库中的值来工作。但我觉得这不是一个好的方法。有没有其他方法可以做到这一点？

我想等待这种交互直到特定时间，否则我想停止。有可能在气流中做到这一点吗？如果可能的话，是否有可能动态改变这个时间限制？

先感谢您。

有没有办法在没有 pip 的情况下安装 Airflow？

我正在尝试在没有 pip 的离线计算机上安装 Airflow。我已经从互联网上下载了这些软件包，但我不确定如何在没有 pip 的情况下运行安装。

有人知道如何使用“setup.py”运行安装吗？

我创建了一个 DAG，为每个工作流安排 @daily 间隔和单独的任务 ID。但它并没有像例外那样运行。有可能这样做吗？有没有其他方法可以为特定的 dag 创建动态任务？并使用命令行暂停特定任务实例？

先感谢您

我是气流新手。我正在尝试将气流调度程序作为守护进程运行，但该进程不会持续很长时间。我已经在airflow.cfg 文件中配置了“LocalExecutor”并运行以下命令来启动调度程序。（我正在使用Google 计算引擎并通过PuTTY 访问服务器）

当我运行此命令时，气流调度程序启动，我可以在气流主文件夹中看到气流调度程序.pid 文件，但该过程不会持续很长时间。当我关闭 PuTTY 会话并重新连接到服务器时，我找不到调度程序进程。我错过了什么吗？如何将气流调度程序作为守护进程运行？