0

我是 Apache Spark 的新手。我听说到目前为止，没有一个 CDH 版本支持 Apache Spark SQL，hortonworks 发行版也是如此。真的吗..？

另一个是我的 PC 上安装了 CDH 5.0.0，我的 CDH 支持哪个版本的 Apache Spark..？

也有人可以向我提供在我的 CDH 发行版中执行我的 Spark 程序的步骤。我已经使用 Apache Spark 1.2 版本编写了一些基本程序，但我无法在 CDH 环境中运行这些程序，当我使用 spark-submit 命令运行 Spark 程序时，我面临着非常基本的问题

火花提交：找不到命令

在运行我的 Spark 程序之前，我是否需要配置任何东西..？

提前致谢

4

1 回答 1

2

CDH 的所有发行版都包含整个 Spark 发行版，包括 Spark SQL。

编辑：从 CDH 5.5.x 开始支持它。

CDH 5.0.x 包括 Spark 0.9.x。CDH 5.3.x 包括 Spark 1.2.x 和 5.4.x 应该发布 1.3.x，因为它即将在上游发布。

spark-submit如果您使用的是 CDH，它已经是您路径的一部分。如果您从其他地方运行，则必须将此文件放在您的路径上或提供完整路径。这与任何程序相同。所以，这是你设置的问题。

于 2015-02-22T22:32:29.227 回答