问题标签 [apache-airflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
airflow - 气流控制器触发具有未来执行日期的目标 DAG;目标 DAG 停顿
我有一个控制器 DAG (SampleController),它将调用一个目标 DAG (SampleWait),两者的 start_date 为 datetime.now(),schedule_interval 为 None。
我从命令行或网络服务器 UI 触发了控制器 DAG,它会立即运行,并且在我的系统时区中执行日期为“现在”。在屏幕截图中,是 17:25——这不是我的“真实”UTC 时间;这是我的当地时间。
但是,当为目标创建触发的 DAG 运行时,执行日期将“调整”为 UTC 时间,无论我如何尝试操作 start_date - 它总是在未来(此处为 21:25)。就我而言,它是未来的四个小时,所以目标 DAG 只是坐在那里无所事事。我实际上在控制器中有一个传感器,它等待目标 DAG 完成,所以那个人也会无缘无故地进行轮询。
即使是 Github 中的 Controller-Target 模式示例,在我运行它们时也表现出完全相同的行为,而且我找不到任何关于如何实际处理此问题的适当文档,只是它是一个“陷阱”。
奇怪的是,Airflow 似乎知道我的时区并在一个操作员内进行调整,但当我从命令行或 Web 服务器 UI 进行调整时却没有。
是什么赋予了?
python - 气流 webserver -p 8080 导致 OSError: [Errno 13] Permission denied
在 AWS EC2 实例中安装气流包后,我正在尝试启动气流网络服务器它显示权限被拒绝问题,我没有得到它试图创建/修改哪个文件或文件夹来得到这个错误。
python - 气流:将 {{ ds }} 作为参数传递给 PostgresOperator
我想使用执行日期作为我的 sql 文件的参数:
我试过了
但它不起作用。
airflow - Airflow 的 BranchPythonOperator 是如何工作的?
我很难理解 Airflow 中的 BranchPythonOperator 是如何工作的。我知道它主要用于分支,但是文档对传递给任务的内容以及我需要从上游任务传递/期望的内容感到困惑。
鉴于本页run_this_first
文档中的简单示例,上游任务调用的源代码和分支的 2 个下游任务的源代码是什么样的?Airflow 究竟是如何知道运行branch_a
而不是运行的branch_b
?上游任务的输出在哪里得到注意/读取?
airflow - 关于部署 Apache Airflow 平台的方法
任何人都可以分享在生产服务器上部署 Apache Airflow 平台(以最简单的独立模式使用顺序执行器)的方式的经验/观点吗?
airflow - 确保任务的顺序运行(Apache Airflow)
在顺序执行器下,我有一个 DAG 文件,我在其中指定了三个需要顺序运行的任务(t1-->t2-->t3):
我假设顺序行为 t1-->t2-->t3 是默认行为,认为在我的情况下并非如此(顺序几乎是随机的,例如 t1-->t2-->t2-->t1 -->t3)。我缺少什么样的论点可以纠正这种行为?
python - 气流:当 on_success_callback 执行带参数的函数时
我想用我从任务传递的一个参数执行一个函数。
这是我的带有状态参数的函数:
这是我的以状态为参数的任务:
当我运行 dag 时,该功能不会停止发送邮件(例如)
airflow - 气流实验 api dagrun 给出 400 错误:输入参数应该是什么
从邮递员到 http://host:8080/api/experimental/dags/test_flow/dag_runs的 POST 请求给出“400 错误请求:浏览器(或代理)发送了此服务器无法理解的请求。” 当它尝试从请求中获取 get_json 时。即在线数据 = request.get_json(force=True)
这个 API 调用的输入应该是什么......?