问题标签 [dockeroperator]

我正在使用DockerOperator来运行容器。但我没有看到任何发布所需端口的相关选项。触发任务时，我需要发布网络服务器端口。任何帮助或指南都会有所帮助。谢谢！

我在面临以下问题的 aws ec2 上运行气流网络服务器/调度程序。

从注册表中提取 docker 映像后出现此问题

任何建议或解决方法都会有所帮助。

我对 Docker + Airflow 很陌生。以下是我想要完成的。

我有 4 项服务，如下面的撰写文件所示。3 个与 Airflow 相关，一个作为测试 Ubuntu 实例。与 Airflow 相关的容器：、、、airflow-database能够相互通信，并且我能够运行示例 DAG airflow-webserver。airflow-scheduler现在我添加了第四个服务（ubuntu），我试图使用 DockerOperator 从 DAG 发送一个简单的命令“/bin/sleep 10”（下面是 DAG 文件）。但由于某种原因，我收到了 Permission Denied 消息（还附加了 DAG 错误文件）。

如果我从 localhost 而不是从 docker 容器内部运行 Airflow，它会起作用 无法弄清楚我缺少什么。以下是我尝试的一些方法：

• 在 docker_url 中：

1. 取而代之unix://var/run/docker.sock的是tcp://172.20.0.1认为它可以通过docker主机ip解决

2. 使用 gateway.host.internal

3. 甚至从操作员中删除了 docker_url 选项，但意识到它无论如何都会默认为 unix://var/run/docker.sock

4. 尝试了一堆组合，tcp://172.20.0.1:2376, tcp://172.20.0.1:2375

5. 主机映射到 Ubuntu 的端口，如 8085:8085 等。

• 可能是 Airflow Web 服务器的气流用户被 Ubuntu 踢出
• 因此，在 Ubuntu 容器中创建了一个组，并向其中添加了气流用户 - 没有效果也很好
• api_version：选项“auto”也不起作用，并不断给出未找到版本的错误。所以必须用 1.41 硬编码，因为我在docker version命令中发现了这个。不确定这是否应该是这样。

在此先感谢您对我可以尝试进行的其他工作的任何帮助:)

码头工人-compose.yml

DAG 文件

DAG 错误日志

规格： Docker：版本：20.10.2 API 版本：1.41

气流图像：apache/airflow:2.0.0-python3.8

主机系统：MacOS BigSur

我有一个 docker 容器，它通过 docker 容器解析文本文件中的音频文件，该容器将安装到这些音频文件所在的文件夹中。我想创建一个 Airflow dag，它将自动执行此任务。有我的计划

1. 我将音频文件下载到文件夹中，即名称为 execution_date，即/path/{{ds}}
2. 我通过 docker 操作员运行 docker 容器，volumes = ['/path/{{ds}}'] 问题是 docker 操作员尝试查找文件夹/path/{{ds}}而不转换{{ds}}为日期并将其作为字符串。我该如何解决？谢谢你的帮助

当docker run -v AirflowData:/data ds-model:0.0.1-1 python src/FetchTestUsers.py从终端退出状态运行命令时为 0，但当我尝试从 DockerOperator 运行命令时退出状态为 1。

知道如何解决这个问题吗？

我正在尝试在 Airflow 中使用 DockerOperator 来运行容器。

当 dag 运行时，我收到以下错误

图像存储在 AWS ECR 中。我使用以下命令为 ecr 生成密码：

我的任务的配置如下：

• 变量和默认参数

• 有向无环图

• 码头工人

我尝试过的事情，

• 重新检查连接字符串以使用 https 和 tcp
• 1.21版本前后手动添加docker版本
• 当我使用 docker 登录凭据运行 docker pull 时，可以拉取图像，因此 EMR 密码不是问题
• 当我在本地气流实例中运行它时，如果图像已经在本地下载，它就可以工作

我的评估是，在拉取 docker 操作员用来确定 docker 版本的图像之前还有额外的 api，这是失败的原因，因此无法拉取图像。我认为这可能与某些 ECR 设置有关。

这里的任何帮助将不胜感激。

谢谢

每个人！

我正在学习如何使用 Airflow 2.0 并创建我的 DAG。我想做类似的事情：

我正在阅读文档并查找有关 Docker Operator 的信息，但我不知道它是否适用于 Podman。可能吗？我想将 Airflow 安装到 RHEL 中。如果答案是肯定的，你能给我看一个像 docker hello world 这样的简单例子吗？

谢谢

从 Airflow 使用 DockerOperator 时出现错误：

我的代码：

我在这里做错了什么？我正在尝试使用 Apache Airflow 运行 dockerized python 服务，老实说，我看不出为什么突然“volumes”应该是错误的论点。

我是气流新手。我正在尝试通过 Airflow 运行容器，但出现超时错误：

我有 Mac 系统，并配置了 docker 套接字，如下所示：https ://github.com/puckel/docker-airflow/issues/543#issuecomment-741842728

我的气流代码是：

我看到我可能需要增加 docker 超时时间，但我不知道确切的位置，实际上我已经尝试过 - 在我的机器上，在气流工作者内部，在 bobrik/socat docker 内部。没有帮助。

我有一系列任务应该启动容器并在其中运行 python 脚本。但是，我需要安装包含 python 代码的卷...

在遇到许多错误后，我发现不再支持添加卷，现在必须指定 Mount 对象： https ://github.com/apache/airflow/pull/15843

我的代码看起来像这样的任务：

不幸的是，我在使用volumes = [list]时遇到了同样的错误：

任何人都能够提供如何使这项工作的语法和合乎逻辑的解释吗？

或者，关于如何解决这个问题的任何建议？请记住，我让 Airflow 在容器内运行

谢谢！