问题标签 [airflow-api]

我不想使用 Slack。我只是在我的邮件功能中使用自定义通知（ on_failure_callback）功能。args我用过

但是[a href]我的电子邮件中的链接对我不起作用。即：我的电子邮件中没有链接。必须做出哪些改变？

我正在尝试使用气流中队列的概念将气流任务路由到特定集群。我们的生产环境有四个集群，P1S1、P2S2 等。如果我从 P1S1 集群启动我的 DAG，我希望我的 DAG 及其操作符在 P1S1 上执行。我最初的想法是在 P1S1、P1S2 等上建立一组气流工作程序，监听各自的队列，然后有 4 个 DAG，它们都是相同的，但在它们的操作符中具有不同的队列字段，如 P1S1_dag.py、P1S2_dag.py等。我可以使用其他方法来实现这种功能吗？

我已经在 EC2 上安装了 Airflow 2.0.1，并使用 PostgreSQL RDS 作为元数据数据库。我想从 Lambda 触发 DAG，因此尝试使用 curl 测试代码，但收到 Unauthorized 作为响应。如果我应该做不同的事情怎么办？

脚步：

1. 为 lambda 创建用户

2. 在 shell 上定义变量（用于 lambda 用户、密码和端点 url）
3. 拨打 curl 电话

我收到的回复是这样的：

当手动触发 DAG 时，有多种方法可以传递配置。它可以从 UI 中完成，通过气流 CLI 使用--conf参数和使用 REST API。

但是，当使用 cron 表达式调度 DAG 时，DAG 总是会失败，因为 DAG 中的任务需要来自conf.

是否有可用于为值设置“默认”值的 DAG 级别配置conf（无需对 Python 代码本身进行空检查并硬编码默认值）

我不想在代码本身中执行此 null 检查的原因是因为我希望conf尽可能通过 Airflow API 公开键和默认值

我有一个问题，我需要每个月的第一天启动一个 DAG，但我有一个问题，DAG 于 10 月 1 日开始，但在 11 月 1 日当天执行，我需要 10 月 1 日执行 10 月 1 日和 11 月 1 日执行 1十一月，不耽误执行一个月。

我的调度程序是：'0 10 1 * *'

谢谢

我有一个任务，我希望它每天只触发一次。我的问题是时机成熟时它会被触发多次。所以每日任务运行 4 次而不是一次。我设置了许多配置来解决这个问题，包括：

我还增加了退休之间的时间，认为气流可能认为任务失败/未开始，因为完成任务可能需要一些时间。

我还根据此答案将应该在该 dag 中运行的所有代码移至 utils 文件夹

但我不知道我在这里错过了什么。有人可以帮忙吗？先感谢您。

这是dag

通过 API 手动触发了几次 DAG。通过查看airflow web UI，我发现这些作业的所有任务都成功完成了。但是作业的状态还是在running。它最终会变成success几分钟后（有时是几小时）。

有人可以帮我缩小这个差距吗？谢谢你。

我们有一个 DAG，它曾经运行良好。我们后来自动化了这个过程，几乎同时使用不同的线程运行相同的 DAG 文件 4-8 次。它抛出一个错误，说它是重复的。如何使其独一无二，以便所有 DAG 调用都成功？

使用 Airflow 2.0.2，我正在尝试使用气流 API 来触发 DAG 运行。当我运行一个简单的 GET 时

我得到预期的结果：

所以用户fooUser确实对 API 有一些基本的访问权限。但是，试图运行

我明白了

如果我授予用户角色并使用相同的fooUser命令，我成功获得Admincurl

我不希望这个用户有Admin权限。我只想让他们使用 API 触发 DAG 运行。但是查看授予的权限列表，Admin我无法确定我fooUser需要哪些才能完成此操作。

用户需要哪些特定权限才能被允许使用 Airflow API 触发 DAG 运行？

当我们使用 REST 调用 DAG 时，AirFlow 会尝试执行它，但如果出现异常，它会将堆栈跟踪作为包含 HTTP 200 OK 的响应正文发送回。

我们如何更改该功能，以便如果有任何执行错误，它宁愿发送 400 错误？