docker - DockerOperator 气流中的 Execution_date

Question

我有一个 docker 容器，它通过 docker 容器解析文本文件中的音频文件，该容器将安装到这些音频文件所在的文件夹中。我想创建一个 Airflow dag，它将自动执行此任务。有我的计划

1. 我将音频文件下载到文件夹中，即名称为 execution_date，即/path/{{ds}}
2. 我通过 docker 操作员运行 docker 容器，volumes = ['/path/{{ds}}'] 问题是 docker 操作员尝试查找文件夹/path/{{ds}}而不转换{{ds}}为日期并将其作为字符串。我该如何解决？谢谢你的帮助

Answer 1

卷不是模板化参数。

您可以通过创建为来克服这个问题MyDockerOperator：

from airflow.providers.docker.operators.docker import DockerOperator

class MyDockerOperator(DockerOperator):
     template_fields = ('volumes') + DockerOperator.template_fields

通过这样做，具有模板化参数的额外支持的MyDockerOperator所有功能。DockerOperatorvolumes