0

我正在使用 kedro-airflow 为气流创建 DAG，但创建的 DAG 引发错误（见下文）。该流程只是一个测试流程 - 非常简单 - 使用 kedro 运行它运行时不会出错。Airflow 也可以毫无问题地运行其他 DAGS。

    /home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/fsspec/implementations/local.py:33: FutureWarning: The default value of auto_mkdir=True has been deprecated and will be changed to auto_mkdir=False by default in a future release.
  FutureWarning,
2020-06-19 15:29:56,812 - airflow.models.dagbag.DagBag - ERROR - Failed to import: /home/ubuntu/airflow/dags/b_dag.py
Traceback (most recent call last):
  File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/airflow/models/dagbag.py", line 236, in process_file
    m = imp.load_source(mod_name, filepath)
  File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/imp.py", line 171, in load_source
    module = _load(spec)
  File "<frozen importlib._bootstrap>", line 696, in _load
  File "<frozen importlib._bootstrap>", line 677, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 728, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/home/ubuntu/airflow/dags/b_dag.py", line 98, in <module>
    runner.run(pipeline, data_catalog)
  File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/kedro/runner/runner.py", line 97, in run
    if self._is_async:
AttributeError: 'AirflowRunner' object has no attribute '_is_async'

有谁知道为什么会这样？

谢谢！

  • 使用的 Kedro-Airflow 插件版本：0.2.2
  • 气流版本：1.10.10
  • 使用的 Kedro 版本（pip show kedro 或 kedro -V）：0.16.2
  • 使用的 Python 版本（python -V）：3.7.7
  • 操作系统和版本：macOS 版本 10.15.5 和 Ubuntu 18.04.4 LTS
4

1 回答 1

0

如果您正在寻找替代品。查看Ploomber，它是一个轻量级框架，还可以将 DAG 导出到Airflow、Kubernetes、AWS 和 SLURM。

于 2022-01-25T20:11:17.120 回答