1

我从 Spark 开始，所以不太确定我的问题出在哪里，并在这里寻找有用的提示。我正在尝试以管理员身份在 Windows 7 机器上运行 Spark（pyspark），但它似乎无法正常工作（我仍然收到 WindowsError 5）。见下图：

在此处输入图像描述

我已经下载了文件（为 Hadoop 2.4 或更高版本预构建的 1.2.0 版），通过命令行使用 tar 解压缩并在调用 bin\pyspark 之前设置 IPYTHON=1。当我调用它时，pyspark 会运行，但根据图像出现以下错误。

当我尝试调用某些 SparkContext 对象时，我得到名称“sc”未定义。

我已经安装了 python 2.7.8，Spyder IDE 并且在公司网络环境中。

有人知道这里会发生什么吗？我查了一些问题，例如为什么我会收到 WindowsError：[错误 5] 访问被拒绝？但找不到线索。

4

1 回答 1

2

简要地：

我有什么应该是同样的问题。对我来说，目录中的*.cmd文件$spark/bin没有被标记为可执行文件；请尝试通过以下方式确认：

  • 右键单击pyspark2.cmd并：
  • 属性/安全选项卡然后检查“读取和执行”

我在另一个网站上找到了解决方法，建议下载hadoop-winutils-2.6.0.zip（抱歉没有链接）。这是要使用的 cmd 示例（移动到正确的目录后）：

t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 *

我确实需要运行chmod 777cmd 以使其/tmp/hive也可写。祝你好运！

（...这里是新的 - 很抱歉格式不好）
（更新：Matt 感谢您修复格式问题！）

根本原因：我在 Windows 上使用的 tar 程序tar -zxf <file.tgz>没有将正确的属性应用于提取的文件。在这种情况下，“可执行”文件没有正确设置。是的，也许我应该更新我的cygwin版本。

于 2016-05-20T21:49:05.287 回答