apache-spark - 我们可以将 Shark 0.9.1 版本与 Spark 1.1.0 一起使用吗？

Question

我知道 Shark 已被 Spark SQL 所包含，这是 Apache Spark 中的一个新模块。但我的问题是，我们可以将现有的 Shark 与新的 Spark 版本一起使用吗？

Answer 1

根据其发布说明，Shark 0.9.1 仅支持 Spark 0.9.1。

根据邮件列表帖子，Spark 1.0+ 没有正式版的 Shark。Shark 依赖于 Spark 的非公共接口，这些接口可能在 0.9.1 和 1.1.0 之间发生了变化，因此将 Shark 移植到 Spark 1.0+ 可能需要大量工作。