scala - 从 scala 2.10.4 到 2.11 的火花

Question

我需要使用超过 22 列宽的表来处理 SparkSQL。

似乎 Scala 2.11 解决了这个问题。

有关如何升级和可能跨版本工作的任何帮助？我在 Eclipse 中使用 Scala IDE，但由于 SchemaRDD 的问题，我可以迁移到 Intellij IDEA。

任何帮助表示赞赏。

Answer 1

在Spark 构建文档中有关于使用 Scala 2.11 构建 Spark 的部分。但是，该指令可能会错过一步 - 看看另一个 StackOverflow 问题。

无论如何，根据文档 Scala 2.11 尚未完全支持：

Spark 还不支持 Scala 2.11 的 JDBC 组件。