hadoop - 在单个节点上安装 PIG

Question

我在带有 Cygwin 的 Windows 7 上为单个节点安装了 Hadoop (1.0.2)，它正在工作。但是，我无法让 PIG (0.10.0) 看到 Hadoop。

1) "Error: JAVA_HOME is not set."

我将此行添加到猪（在bin下）：export JAVA_HOME=/cygdrive/c/PROGRA~1/Java/jdk1.7.0_05

2) which: no hadoop in (/usr/local/b.....)
cygpath: cannot create short name of C:\pig-0.10.0\logs
Cannot locate pig.jar. do 'ant jar', and try again

我尝试在 pig 中添加以下行，但仍然没有找到 hadoop。我应该怎么办？

export PIG_HOME="/cygdrive/c/pig-0.10.0"
export PATH=$PATH:$PIG_HOME/bin
export PIG_CLASSPATH=/cygdrive/hadoop/hadoop-1.0.2/conf

score 2 · Accepted Answer

您可能还需要将 Hadoop 安装添加到您的路径中。例如

export HADOOP_INSTALL=/Users/yourname/dev/hadoop-0.20.203.0 
export PATH=$PATH:$HADOOP_INSTALL/bin

score 2 · Accepted Answer

我对 pig-0.11 有同样的问题。似乎这是 cygwin 特定的问题。

将 pig-0.11.1-withouthadoop 复制到 PIG_HOME 下的 pig-withouthadoop.jar 为我解决了这个问题

score 1 · Accepted Answer

我试图在安装了 Windows 7 的网关机器上设置 PIG。

这个问题是 Cygwin 特有的。

在打破我的头几个小时后，我找到了解决方案：

解决方案非常简单。

只需将“pig-0.10.1-withouthadoop.jar”下的jar文件重命名为“pig-withouthadoop.jar”即可。

score 0 · Accepted Answer

我在 Fedora 19 上安装的 Pig 0.12.0（和 Hadoop 1.0.3）也有类似的问题。尝试任何 Pig 命令时，例如

pig -help

我收到了错误：

Cannot locate pig-withouthadoop.jar. do 'ant jar-withouthadoop.jar', and try again

Hadoop 和 Pig 安装 /bin 文件夹已正确包含在我的 PATH 中。

只需将pig-0.12.0-withouthadoop.jar 复制到 PIG_HOME文件夹即可解决我的问题。

score 0 · Accepted Answer

此外，您可以在 Windows 7 中手动将路径：（hadoop 目录）\hadoop-vvv\bin 添加到环境变量中。这将解决此问题

which: no hadoop in (/usr/local/b.....)

score 0 · Accepted Answer

您必须访问这里以在 hadoop 2.2.0 上安装 pig 12 而不会出现任何错误，因为它会为指定的 hadoop 版本重新编译 pig 库。

完成这些步骤后，您将在 grunt 上获得运行中的猪，而不会出现任何错误。

只是喜欢做。

% pig [return]

6 回答 6