5

它与 spark yarn-client 一起运行良好,但是 yarn-cluster 呢?如果可能的话,请分享我们如何做到这一点。

4

2 回答 2

3

是的,在 Zeppelin 的当前主版本中是可能的。

查看 https://medium.com/@zjffdu/zeppelin-0-8-0-new-features-ea53e8810235

Spark Interpreter 的 Yarn Cluster 模式

在 0.8.0 之前,Zeppelin 仅支持 Spark Interpreter 的 yarn 客户端模式,这意味着驱动程序将在 Zeppelin Server 的同一主机上运行。Zeppelin 服务器主机的内存压力很大,尤其是当您在隔离模式下运行 Spark Interpreter 时。

https://issues.apache.org/jira/browse/ZEPPELIN-2898(2017年 9 月末合并到主服务器)。

更新:通知 0.8.0 已发布,其中包含此功能。

于 2018-03-13T23:33:09.190 回答
0

目前zeppelin不支持yarn cluster,只支持yarn-client。这样做的用例是什么?

于 2015-10-24T12:25:22.800 回答