1

我写了一个spark maven支持的例子Intelligent IDEA。spark版本是2.0.0，版本hadoop是2.7.3，scala版本是2.11.8。系统和IDE环境是同一个版本。然后应用程序运行时出现错误：

线程“main”中的异常 java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$; 于 org.apache.spark.ui.jobs.StagePage.(StagePage.scala:44) 于 org.apache.spark.ui.jobs.StagesTab.(StagesTab.scala:34) 于 . org.apache.spark.ui.SparkUI(SparkUI.scala:62) 于org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) 于 org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) 于 org.apache.spark.SparkContext.<init>(SparkContext.scala:443) 于 org.apache.spark.SparkContext.<init>(SparkContext.scala:149) 于 org.apache.spark.SparkContext.<init>(SparkContext.scala:185) 于 org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92) 于com.spark.test.WordCountTest.main(WordCountTest.java:25) 于 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 于 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 于 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)java.lang.reflect.Method.invoke(Method.java:606)com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

4

2 回答 2

0

Spark 2.0.0 使用 scala 2.10 构建，您必须添加 scala 2.10 作为框架支持

于 2016-12-09T20:14:15.640 回答
0

pom.xml用更新scala 2.11.8。
有关版本兼容性，请参阅 spark 下载文档。

于 2019-06-12T06:26:09.533 回答