我已经Hadoop 3.0.0安装了。我现在应该从此页面安装Apache Spark的with-hadoop或without-hadoop版本吗？
我正在按照本指南开始使用 Apache Spark。
它说
从此链接下载最新版本的 Apache Spark（根据您的 Hadoop 版本预构建）：...
但我很困惑。如果我已经在我的机器上运行了一个 Hadoop 实例，然后我下载、安装并运行 Apache-Spark-WITH-Hadoop，它不会启动另一个额外的 Hadoop 实例吗？
问问题
843 次
2 回答
5
首先，据我所知，Spark 还不支持 Hadoop 3。您会注意到“您的 Hadoop 版本”没有可供下载的可用选项。
不过，无论您下载哪个，您都可以尝试在 spark-env.sh 中设置HADOOP_CONF_DIR和。HADOOP_HOME
如果您已经拥有 Hadoop，则应始终下载没有 Hadoop 的版本。
它不会启动另一个额外的 Hadoop 实例吗？
不，您仍然需要显式配置和启动该版本的 Hadoop。
我相信那个 Spark 选项已经配置为使用包含的 Hadoop
于 2018-01-30T05:40:56.377 回答
5
这是@cricket_007 的答案的补充。
如果您安装了 Hadoop，请不要下载带有 Hadoop 的 spark，但是，由于任何版本的 spark 仍然不支持您的 Hadoop 版本，您需要下载带有 Hadoop 的版本。虽然，您需要在您的机器上配置捆绑的 Hadoop 版本才能运行 Spark。这意味着您在 Hadoop 3 上的所有数据都将丢失。因此，如果您需要此数据，请在开始降级/重新配置之前备份数据。由于某些环境变量，我认为您无法在同一系统上托管 2 个 Hadoop 实例。
于 2018-01-30T06:12:50.770 回答