0

我是 Bluemix 的新手。我已经创建了 Apache Spark 服务，并尝试通过 spark submit 提交一个简单的 hello-world jar。（我使用此链接休闲：https ://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4

提交 jar 后，日志文件显示：

提交作业结果：{“action”：“CreateSubmissionResponse”，
“message”：“驱动程序成功提交为 driver-20170602xxxxxxxxxxx”，“serverSparkVersion”：“2.0.2”，
“submissionId”：“driver-20170602xxxxxxxxxxx”，“success” ： 真的 }

提交 ID：driver-20170602xxxxxxxxxxx 提交的作业：driver-driver-20170602xxxxxxxxxxx 轮询作业状态。投票#1。获取状态====失败状态输出========================================== ============ 错误：作业失败。spark-submit 日志文件：spark-submit_1496403637550663675.log 在 stdout_1496403637550663675 ​​处查看作业的 stdout 日志 在 stderr_1496403637550663675 ​​处查看作业的 stderr 日志

在这种情况下可能会出现什么问题？

我还看到人们谈论笔记本和木星来访问/运行火花作业。但我在仪表板上没有看到 notebook /Jupiter 选项。

感谢您的投入

标准输出上的卷曲，即（https://spark.eu-gb.bluemix.net/tenant/data/workdir/driver-20170614074046xxxxxxxxx277e6a/stdout）是：“没有定义额外的配置”

但我在 stderr 上发现了以下错误消息：

log4j:ERROR 找不到键 log4j.appender.FILE 的值 log4j:ERROR 无法实例化名为“FILE”的附加程序。错误 deploy.ego.EGOClusterDriverWrapper：未捕获的异常：java.nio.file.NoSuchFileException：/gpfs/fs01/user/sd74-836f4292ca6442xxxxxxxx/data/e717e66fe44f5a1ea7eec81cbd/hellospark_2.11-1.0.jar 在 sun.nio.fs.UnixException.translateToIOException (UnixException.java:98) 在 sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:114) 在 sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:119) 在 sun.nio.fs.UnixCopyFile。 copy(UnixCopyFile.java:538) 在 sun.nio.fs.UnixFileSystemProvider.copy(UnixFileSystemProvider.java:265) 在 java.nio.file.Files.copy(Files.java:1285) 在 org.apache.spark.util .Utils$.org$apache$spark$util$Utils$$copyRecursive(Utils.

4

2 回答 2

0

我也遇到过这个错误，问题是我没有在 spark-submit 中提供 jar 的路径。因此，当它上传 jar 时，日志中会出现这样的错误：

local2server 结果：{"content_error":"HTTP 请求正文为空。"}

在 spark-submit 中添加 jar 的路径有助于解决我的问题，请尝试以下操作：

./target/scala-2.10/hellospark_2.10-1.0.jar
于 2019-02-01T07:26:21.353 回答
0

看起来您粘贴了 spark 提交脚本的输出而不是日志文件的内容？

您可以通过以下方式访问日志文件：

curl \
   -X GET \
   -u <tenant_id>:<tenant_secret> \
   -H 'X-Spark-service-instance-id: <instance_id>' \
   https://169.54.219.20/tenant/data/workdir/<submission-id>/stdout

如果您需要更多帮助，我建议您在日志文件中打开一个带有错误消息的新问题。

对于您问题的第二部分，可通过 Data Science Experience 获得 spark 笔记本。您可以在此处注册数据科学体验：https ://datascience.ibm.com

于 2017-06-02T14:59:15.760 回答