问题标签 [airflow-api]

我正在通过 Apache Airflow托管工作流(MWAA)在 AWS 上运行Apache Airflow进行测试。AWS 为我部署和管理的 Airflow 版本是1.10.12。

当我尝试访问 v1 REST API 时，/api/experimental/test我得到了状态代码403 Forbidden。

是否可以在 MWAA 中启用实验性 API？如何？

我正在使用气流 2 稳定的休息 API 来触发 dag。我创建了一个自定义 DAG，它从 MySQL（2 个表）中获取输入，并在键上加入。

在 API 的主体中，我必须发送一些如下所示的参数，这些参数将决定加入哪 2 个表。

下面是自定义运算符的实现。

它会像这样使用

但神社模板在这里不起作用。谁能帮助我如何实现这一目标？

除了看起来像这样的常规消息之外，我必须使用气流休息 API 触发

我还必须发送一个 json 作为响应。我怎样才能做到这一点？Airflow API 有可能吗？

我想知道是否存在Airflow 1.10.10与 API 调用相关的隐式限制。

docker我的基础设施：在容器中运行的气流。这个 docker 容器在AWS EC2其中运行，使用AWS ECS Blue and green.

正如您在附图中看到的那样，昨天气流下降了两次。

我有一个本地脚本，每 7 分钟进行一次 api 调用。我选择 7 分钟，因为 dag 需要 4-5 分钟才能完成。此外，我将task_concurrency=1参数设置为 1。

我一直在寻找气流限制或任何其他有意义的问题，但我没有看到任何相关内容。有什么可能的解释吗？

我的理论是docker container内存限制是 16gb，这是EC2限制。dag 使用几乎所有可用的 gb，大约 12-13 因此，当有另一个 dag 运行并且内存全部使用时，调度程序就会停止。

这可能吗？

我知道唯一可行的解​​决方案是增加内存或限制该 dag 的使用。

我需要从 Ariflow dag 进行 API 调用。

下面是我在代码中使用的示例 json_string：

但它导致以下响应：

以下是 currentDateTime 所需的响应：

如何在 json 中传递 ts_nodash 宏？或者如何在 json 中传递 dag 的执行日期时间？

我正在尝试使用 REST API 触发气流 dags。这没用。我得到一个 ERROR 400 的响应：

我通过 CURL 和 Python requests 模块尝试过，结果是一样的。

例子：

我是否需要在 Airflow 配置或 Dag 中指定某些内容才能运行它？因为据我所知，有些东西是有权限的？ "Property is read-only - 'state'",

我在 AWS MWAA 中运行 Airflow，我想访问 REST API，有两种方法可以做到这一点，但似乎对我不起作用。

1. 覆盖 api.auth_backend。这曾经有效，现在 AWS MWAA 不允许您添加它，它被视为“阻止列表”并且不允许。
   api.auth_backend = 气流.api.auth.backend.default

2. 使用 MWAA Cli(Python)。如果任何 DAG 使用位于 request.txt 文件中的包，这将不起作用。
   一个。例如，我在 requirements.txt 中有“paramiko”，因为我有一个使用 SSHOperator 的任务。MWAA Cli 因“无模块 paramiko”而失败

   湾。此处还指出​​，https ://docs.aws.amazon.com/mwaa/latest/userguide/access-airflow-ui.html “如果 DAG 使用插件，任何解析 DAG 的命令（例如 list_dags、回填）都将失败这取决于通过 requirements.txt 安装的软件包。”

嗨，我正在尝试测试气流 API，为此我正在尝试更改默认配置

按照https://airflow.apache.org/docs/apache-airflow/stable/security/api.html#api-authentication的指导

为了测试 API 调用，我试图将气流.api.auth_backend设置为默认值，ej

但是当我运行我的气流泊坞窗并进入气流网络服务器容器时，我看到我的更改存在于配置文件中。我在/opt/airflow/airflow.cfg看到了我的文件，其中包含我的更改，但是当我运行命令时

或者

我看不出有什么变化！！！好像它们没有加载一样。

我检查了环境，我家的气流是正确的AIRFLOW_HOME=/opt/airflow

Airflow 提供了 REST API 功能来提取 dag/task 状态。

https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html#section/Trying-the-API

但是想知道是否有一种方法可以仅在不为每个 dag id 手动指定的情况下获取所有 dags wrt dag owner 的最新 dag/task 状态。

这将帮助我们为业务用户创建工作流仪表板。

我想在我的角度前端使用 apache 气流 Rest API。我正在为每个用户动态生成 dag。我想根据用户过滤 /dagrun 或 /eventlog 响应。我怎么能这样做？？？抱歉，我是气流新手。有什么方法可以添加新的 API 吗？