0

我想知道如何将火花“作业”提交给单个应用程序(允许共享 RDD 工作,但也允许模块的代码/执行独立性)。我在 ooyala 正式看到过这个spark-jobserver,但我注意到它还不支持 python。这是 scala/java 中这个用例的常用路径吗?还是我在这里走错了路?

我还看到了一个不太受欢迎的pyspark-jobserver和主要 spark-jobserver 上的未解决问题,以解决 python 和 R。

为了更好地理解 spark-jobserver 的用例,我还想知道为什么 spark 不直接支持这个功能,因为他们有详细的作业调度框架。

4

0 回答 0