apache-spark - 通过 sbt 在本地运行 spark 应用程序

Question

我想在本地运行火花作业进行测试。如果spark-submit使用组装好的罐子，它工作得很好。

但是，如果sbt run使用我会收到一个非常奇怪的错误https://gist.github.com/geoHeil/946dd7706f44f338101c8332f4e13c1a

尝试设置 java-opts 之类的

javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled")

没有帮助解决问题。

local[*]试图在模式下摆弄内存设置

.set("spark.executor.memory", "7g")
.set("spark.driver.memory", "7g")

只会产生更多的问题ExecutorLostFailure

Answer 1

我从来没有专门遇到过这个问题，但我认为 spark 代码不是用来运行sbt run. 我什至记得在文档中读过它，但现在找不到它。

我想你应该做的是用 sbt 编译它并改用它spark-submit。