apache-spark - 我可以使用 Airflow 启动/停止火花流作业吗

Question

我有两种类型的工作：Spark Ba​​tch 作业和 Spark 流式作业。

我想用气流来安排和管理它们。

用于作业的气流已停止。但我想将它用于我的流媒体工作。谁能给我一些想法或其他工具来完成我的流媒体工作

Answer 1

批处理作业 - 包括火花可以通过气流调度程序进行调度。

流媒体工作 - 从技术上讲是的 - 没有什么能阻止你。但是，对 spark 流式作业做同样的事情是没有意义的，因为这些是长时间运行的作业，最好通过其他工具来执行它们。