在 spark 上寻找 kedro+ 气流实现。该插件现在可用于 spark 吗？
查看 PipelineX 但在 spark 上找不到相关示例？
问问题
160 次
1 回答
0
我还没有准备或看到将 Spark 与 PipelineX 或 Airflow 一起使用的示例，但应该可以使用 kedro-airflow 在 Spark 上运行任务。
以下文档和 DataEngineerOne 的视频可能会有所帮助。
https://kedro.readthedocs.io/en/stable/10_tools_integration/01_pyspark.html?highlight=Spark
于 2020-08-14T01:22:32.867 回答