问题标签 [apache-airflow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
5410 浏览

docker - docker run 上的用户未绑定变量

在运行 docker image 时,我收到以下错误:

entrypoint.sh 的代码。

Docker 文件中环境变量用户声明:

Docker 镜像的完整代码在链接中

0 投票
0 回答
807 浏览

airflow - 气流控制器触发具有未来执行日期的目标 DAG;目标 DAG 停顿

我有一个控制器 DAG (SampleController),它将调用一个目标 DAG (SampleWait),两者的 start_date 为 datetime.now(),schedule_interval 为 None。

我从命令行或网络服务器 UI 触发了控制器 DAG,它会立即运行,并且在我的系统时区中执行日期为“现在”。在屏幕截图中,是 17:25——这不是我的“真实”UTC 时间;这是我的当地时间。

但是,当为目标创建触发的 DAG 运行时,执行日期将“调整”为 UTC 时间,无论我如何尝试操作 start_date - 它总是在未来(此处为 21:25)。就我而言,它是未来的四个小时,所以目标 DAG 只是坐在那里无所事事。我实际上在控制器中有一个传感器,它等待目标 DAG 完成,所以那个人也会无缘无故地进行轮询。

即使是 Github 中的 Controller-Target 模式示例,在我运行它们时也表现出完全相同的行为,而且我找不到任何关于如何实际处理此问题的适当文档,只是它是一个“陷阱”。

奇怪的是,Airflow 似乎知道我的时区并在一个操作员内进行调整,但当我从命令行或 Web 服务器 UI 进行调整时却没有。

是什么赋予了?

目标 DAG 执行日期已推送

0 投票
0 回答
85 浏览

python - 如何自动运行 DAG

我读了这个问题,我可以使用以下命令成功运行DAGairflow backfill -s -1 pipeline,但它是手动执行的。我想知道如何在特定的时间间隔内自动执行我的 dags。我是新手,但我仍然卡住了。我也阅读了本指南,但显然作者Celery用来执行 dags 并且我有一些关于它的问题,例如,当我尝试运行airflow worker它时说我使用了一个端口,我可以通过降级来解决它,Celery正如他们所说的这里。然而,当我再次尝试运行它时,我得到了更多的错误。

请注意,当我定义 my 时DAG,我尝试每 2 分钟运行一次。

0 投票
2 回答
2703 浏览

python - 气流 webserver -p 8080 导致 OSError: [Errno 13] Permission denied

在 AWS EC2 实例中安装气流包后,我正在尝试启动气流网络服务器它显示权限被拒绝问题,我没有得到它试图创建/修改哪个文件或文件夹来得到这个错误。

0 投票
2 回答
12695 浏览

python - 气流:将 {{ ds }} 作为参数传递给 PostgresOperator

我想使用执行日期作为我的 sql 文件的参数:

我试过了

但它不起作用。

0 投票
1 回答
26878 浏览

airflow - Airflow 的 BranchPythonOperator 是如何工作的?

我很难理解 Airflow 中的 BranchPythonOperator 是如何工作的。我知道它主要用于分支,但是文档对传递给任务的内容以及我需要从上游任务传递/期望的内容感到困惑。

鉴于本页run_this_first文档中的简单示例,上游任务调用的源代码和分支的 2 个下游任务的源代码是什么样的?Airflow 究竟是如何知道运行branch_a而不是运行的branch_b?上游任务的输出在哪里得到注意/读取?

0 投票
1 回答
132 浏览

airflow - 关于部署 Apache Airflow 平台的方法

任何人都可以分享在生产服务器上部署 Apache Airflow 平台(以最简单的独立模式使用顺序执行器)的方式的经验/观点吗?

0 投票
1 回答
4399 浏览

airflow - 确保任务的顺序运行(Apache Airflow)

在顺序执行器下,我有一个 DAG 文件,我在其中指定了三个需要顺序运行的任务(t1-->t2-->t3):

我假设顺序行为 t1-->t2-->t3 是默认行为,认为在我的情况下并非如此(顺序几乎是随机的,例如 t1-->t2-->t2-->t1 -->t3)。我缺少什么样的论点可以纠正这种行为?

0 投票
2 回答
6765 浏览

python - 气流:当 on_success_callback 执行带参数的函数时

我想用我从任务传递的一个参数执行一个函数。

这是我的带有状态参数的函数:

这是我的以状态为参数的任务:

当我运行 dag 时,该功能不会停止发送邮件(例如)

0 投票
2 回答
2282 浏览

airflow - 气流实验 api dagrun 给出 400 错误:输入参数应该是什么

从邮递员到 http://host:8080/api/experimental/dags/test_flow/dag_runs的 POST 请求给出“400 错误请求:浏览器(或代理)发送了此服务器无法理解的请求。” 当它尝试从请求中获取 get_json 时。即在线数据 = request.get_json(force=True)

这个 API 调用的输入应该是什么......?