1

我是 spark 和 scala 编程的初学者，我尝试在本地模式下使用 spark-submit 运行示例，它运行完整而没有任何错误或其他消息，但我在 consul 或 spark history web UI 中看不到任何输出结果。在哪里和如何在 spark-submit 中查看我的程序的结果？

这是我在 spark 上运行的命令

spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp  /spark-events --conf spark.eventLog.enabled=true  --conf   spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist  -b 8

这是运行程序结束的屏幕截图

4

3 回答 3

2

您还可以找到您的spark-defaults.conf（或spark-defaults.conf.template将其复制到spark-defaults.conf）

创建一个日志目录（如/tmp/spark-events/）

添加这两行：

spark.eventLog.enabled           true
spark.eventLog.dir               file:///tmp/spark-events/

并运行sbin/start-history-server.sh

使所有作业通过spark-submit日志运行到事件目录和 History Server ( http://localhost:18080/ ) => Web UI 中可用的概览，而无需保持 Spark 作业运行

更多信息：https ://spark.apache.org/docs/latest/monitoring.html

PS：在 Mac 上通过自制软件，这都在子目录中/usr/local/Cellar/apache-spark/[version]/libexec/

于 2018-04-26T11:25:21.383 回答
0

尝试将其添加while(true) Thread.sleep(1000)到您的代码中，以保持服务器运行，然后检查浏览器中的 sparks 任务。通常，您应该看到您的应用程序正在运行。

于 2018-04-26T10:50:54.803 回答
0

非常感谢您的回答，我已经使用“--conf”在 spark-submit 命令中进行了这些设置，并且可以使用“spark-class org.apache.spark.deploy.history.HistoryServer”查看 Web UI 历史记录，但我无权访问“start-history-server.sh”。我在历史 Web UI 中看到任务和作业已完成，我检查了所有选项卡（作业、阶段、存储、执行程序），但在任何地方都找不到输出结果。可以你向我解释历史 Web UI 甚至 consul 中的结果在哪里？（我的目标是数值结果作为 spark-submit 命令中接受的数据集的输出）

来自 Web UI 历史记录的屏幕截图

问候

于 2018-04-26T22:47:12.160 回答