scala - 使用 Scala 2.11 在独立模式下运行 Spark？

Question

我按照说明使用 Scala 2.11 构建 Spark：

mvn -Dscala-2.11 -DskipTests clean package

然后我按照说明启动：

./sbin/start-master.sh

它在日志文件中有两行失败：

Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.

显然，它正在寻找一个 scala-2.10 构建，但我做了一个 scala-2.11 构建。我尝试了明显的 -Dscala-2.11 标志，但这并没有改变任何东西。文档没有提及如何使用 scala 2.11 在独立模式下运行。

提前致谢！

Answer 1

在构建之前，您必须在以下位置运行脚本：

dev/change-version-to-2.11.sh

应该用 2.11 替换对 2.10 的引用。

请注意，这不一定适用于非 GNU sed（例如 OS X）