2

我正在尝试使用“spark.master=yarn”通过 Livy 服务器运行 Pyspark（或 Spark）作业。

我做了什么：

1) 在spark-defaults.conf 中：

spark.master yarn
spark.submit.deployMode client

2) 在livy.conf 中：

livy.spark.master = yarn
livy.spark.deployMode = client

3) 我通过 CURL 使用"conf": {"spark.master": "yarn"}发送请求

例子：

  curl -X POST -H "Content-Type: application/json"  localhost:8998/batches --data '{"file": "hdfs:///user/grzegorz/hello-world.py", "name": "MY", "conf": {"spark.master": "yarn"} }'
{"id":3,"state":"running","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null},"log":["stdout: ","\nstderr: "]}

我总是在日志中得到什么：

18/01/02 14:45:07.880 qtp1758624236-28 INFO BatchSession$：创建批处理会话 3：[所有者：null，请求：[proxyUser：无，文件：hdfs:///user/grzegorz/hello-world.py , 名称: MY, conf: spark.master -> yarn ]]

2002 年 1 月 1 日 14:45:07.883 qtp1758624236-28 信息 SparkProcessBuilder：正在运行'/usr/local/share/spark/spark-2.0.2/bin/spark-submit''--name''MY''-- conf''spark.master= local''hdfs:///user/grzegorz/hello-world.py '

我希望有人对如何解决它有任何想法。先感谢您。

4

0 回答 0