0

我正在使用 Livy 运行一个火花字数统计程序（在没有 Livy 的情况下使用 spark-submit 运行它可以正常工作）。在使用 Livy Rest 请求提交作业时，它会返回作业的 id，如下所示：

curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar", "className": "org.learningspark.simple.WordCount", "files": ["hdfs://sparkmaserip:8020/tmp/input-file"]}' -H "Content-Type: application/json" http://sparkmasterip:8998/batches

回复：

{"id":12,"state":"starting","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null},"log":[]}

如果我使用以下命令检查 id 为 12 的作业的状态，它会给出响应说死：

curl  http://sparkmasterip:8998/batches/12

回复

{"id":12,"state":"dead","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null}

谢谢

4

1 回答 1

0

我在使用集群模式时遇到了同样的问题，即 livy.spark.master = yarn-cluster。与 livy.spark.master = yarn-client 一起工作正常

于 2017-05-29T10:37:29.553 回答