5

我正在尝试在 Windows 7 上的 cmd 提示符下运行 spark-shell 命令。我已经安装了 hadoop 并将其保存在 C:\winutils\hadoop-common-2.2.0-bin-master\bin 和 Spark 下 C:\Spark \spark-2.2.1-bin-hadoop2.7\bin。

执行 spark-shell 时，出现以下错误。

C:\Spark\spark-2.2.1-bin-hadoop2.7\bin>spark-shell 系统找不到指定的路径。

下面是我的环境变量

HADOOP_HOME C:\winutils

JAVA_HOME   C:\Program Files\IBM\Java80\jre

PATH        C:\Users\IBM_ADMIN\AppData\Local\Programs\Python\Python36-32;C:\IBM\InformationServer\Clients\Classic;C:\Program Files\IBM\Java80\jre;C:\Windows\system32

SCALA_HOME  C:\Program Files (x86)\scala\

截屏

截屏

4

4 回答 4

5

您的 JAVA_HOME 设置为 JRE，请确保将其指向您的 JDK 文件夹（它应该位于您的 JRE 旁边）

于 2019-02-04T09:19:04.697 回答
4

在尝试使用 Windows 7 安装 Spark 本地时，我遇到了同样的问题。请确保以下路径正确，我相信我会与您合作。

  1. 创建 JAVA_HOME 变量：C:\Program Files\Java\jdk1.8.0_181
  2. 将以下部分添加到您的路径中：;%JAVA_HOME%\bin
  3. 创建 SPARK_HOME 变量：C:\spark-2.3.0-bin-hadoop2.7
  4. 将以下部分添加到您的路径中：;%SPARK_HOME%\bin
  5. Hadoop 路径中最重要的部分应该在 winutils.ee 之前包含 bin 文件，如下所示：C:\Hadoop\bin当然你会在这个路径中找到 winutils.exe。
  6. 创建 HADOOP_HOME 变量：C:\Hadoop
  7. 将以下部分添加到您的路径中：;%HADOOP_HOME%\bin

现在您可以运行 cmd 并编写 spark-shell 它将工作。

于 2018-10-16T09:07:27.620 回答
1

我也面临同样的问题。我所做的最重要的一点，对环境变量进行了更改​</p>

早些时候我使用 JAVA_HOME=C:\java\jdk1.8.0_311\bin 这就是我遇到问题的原因。

但它应该是
JAVA_HOME=C:\java\jdk1.8.0_31

和往常一样设置火花和Hadoop。SPARK_HOME=C:\spark\spark-3.0.3-bin-hadoop2.7 HADOOP_HOME=C:\hadoop

在系统变量下选择路径并放入 "C:\java\jdk1.8.0_31\bin , C:\hadoop\bin,C:\spark\spark-3.0.3-bin-hadoop2.7\bin"

于 2022-01-05T17:03:36.383 回答
1

在 Windows 10 Pro 上使用 Apache Spark 时，我遇到了同样的问题。

注意：

  1. 卸载 8 以上的任何 JAVA JDK ( jdk1.8.0_181 )--11-16 导致问题。

  2. 使用 'certutil -hashfile c:\users\username\Downloads\spark-2.7.5-bin-hadoop2.7.tgz SHA512' 测试 Apache 文件。请记住将“用户名”替换为例如“certutil -hashfile c:\users* datamind *\Downloads\spark-2.4.5-bin-hadoop2.7.tgz SHA512”

  3. 搜索“编辑环境变量”。

  4. C:\Program Files\Java\jdk1.8.0_181

  5. 单击“用户变量”中的路径；%JAVA_HOME%\bin

  6. 对 HADOOP_HOME 和 JAVA_HOME 重复步骤 2 和 3。

请点击此链接并逐步完成所有操作。https://phoenixnap.com/kb/install-spark-on-windows-10

于 2021-04-13T16:37:13.560 回答