问题标签 [apache-airflow]

我正在探索apache airflow 1.8。我很好奇有没有办法将参数传递给DAGs或taskswhile backfilling？

这是我正在寻找的东西，

或者它可能是arrayargs。

有什么方法可以传递参数吗？我搜索了很多，但找不到任何东西。

当我们在 Airflow UI 上进行 dagrun 时，在“图形视图”中，我们会获得每个作业运行的详细信息。

JobID 类似于 "scheduled__2017-04-11T10:47:00"。

我需要这个 JobID 来跟踪和创建日志，我在其中维护每个任务/dagrun 所花费的时间。

所以我的问题是如何在正在运行的同一个 dag 中获取 JobID。

谢谢，车坦

我正在与apache airflow 1.8.0.

这是我backfill工作时的输出。

当我尝试安排任何DAG它会引发错误。

这是关于任务的输出。

使用python 2.7和python 3.5测试

使用SequentialExecutor和LocalExecutor

附言。如果我在当前时间回填 DAG，它会执行一次，然后为所有计划任务抛出上述错误。

从气流文档中：

我了解 subdagooperator 实际上是作为 BackfillJob 实现的，因此我们必须向schedule_interval操作员提供一个。但是，有没有办法获得schedule_interval="@once"subdag 的语义等价物？我担心如果我对 subdag 使用 set ，如果schedule_interval="@daily"subdag 的运行时间超过一天，那么 subdag 可能会运行不止一次。

TLDR：如何伪造“每次触发父 dag 时只运行一次这个 subdag”

我正在尝试在本地系统上设置 Airflow。我用过：

然后我初始化了气流数据库

然后我使用以下命令启动气流网络服务器：

现在，当我打开 localhost:8080 时，管理面板显示来自 /usr/local/lib/python2.7/dist-packages/airflow/example-dags 而不是来自~/Documents/Project/airflow/dags文件夹的示例 dag。

而airflow list_dags在命令行上显示我的项目文件夹中的 dags。

无法弄清楚原因。请帮忙。

我试图用芹菜测试气流。我改broker_url了celery_result_backend一下mysql。

所以芹菜开始很好地连接到数据库，但是当我运行它时airflow flower，它似乎读取了一个默认配置条目来连接到数据库。这是我在日志中看到的：

我必须在某处修改花配置吗？

我正在调度 dag，它显示为运行状态，但任务没有被触发。气流调度程序和 Web 服务器已启动并运行。我在 UI 上将 dag 切换为 ON。我仍然无法解决问题。我正在使用 CeleryExecutor 尝试更改为 SequentialExecutor 但没有运气。

我创建了一些DAGs，并尝试将其放在调度程序上。我想在 24 小时后运行 DAG 中的所有任务。我试图做这样的事情。

我试图设置不同的间隔，但没有任何工作。但是，如果我尝试重置 dbairflow resetdb -y然后运行airflow initdb，它会工作一次。然后在那之后，调度程序无法运行它。 气流版本：v1.8.0

PS。airflow scheduler通过执行root

谁能指出我做错了什么？

我们的系统基本上只是运行 C# 和 Powershell 应用程序以及 MS SQL Server 的 Windows 服务器。我们有一个内部的 WorkflowManagement 解决方案，它能够运行执行 EXE/BAT/PS1 甚至调用 DLL-Functions 的任务。

现在我正在评估 Apache Airflow 是否对我们来说是一个更好的解决方案。到目前为止，我的天真的计划是在 Linux 机器上运行气流调度程序，然后让消费者在 Windows 机器上运行。但是，例如，我将如何设置消费者以运行 .exe 任务？

我是否需要创建一个接受 HTTP 调用然后执行 .Exe 文件的 Wrapper-Service？

如何使用 Airflow Web UI 或修改现有 SQLAlchemy/pymssql Python 模块使用 Windows 身份验证连接 MS SQL Server？

我有无法使用此选项的 SQL Server SSIS 包https://joethebusinessintelligenceguy.wordpress.com/2013/08/14/ssis-2012-using-sql-authentication-with-dont-save-sensitive-successfully/）因此我试图通过使用 Windows 身份验证来启动 SSIS 步骤。

我发现以下链接显示支持确实存在，但我不知道如何在 Airflow 安装（要修改哪个文件或在哪里创建新的 conn_id）上实现相同的支持。

• 如何使用 Windows 身份验证通过 sqlalchemy 连接到 SQL Server？
• 使用 Python 通过 Windows 身份验证连接到 MS SQL Server？
• https://www.mail-archive.com/sqlalchemy@googlegroups.com/msg13620.html