1

我正在尝试使用 spark-submit (Spark 1.6.0) 将 jar 测试到启用了 Kerberos 的 Cloudera 集群中。事实是,如果我启动这个命令:

spark-submit --master local --class myDriver myApp.jar -c myConfig.conf

在 local 或 local[*] 中,该过程在几个阶段后停止。但是,如果我使用 yarn-client 或 yarn-cluster master 模式,则该过程正确结束。该进程将一些文件读写到 HDFS 中。

此外,这些痕迹出现:

17/07/05 16:12:51 WARN spark.SparkContext: Requesting executors is only supported in coarse-grained mode
17/07/05 16:12:51 WARN spark.ExecutorAllocationManager: Unable to reach the cluster manager to request 1 total executors!

这肯定是配置问题,但事实是我不知道发生了什么。有任何想法吗?我应该更改哪些配置选项?

4

0 回答 0