hadoop - 设置路径权限失败：\tmp

Question

Failed to set permissions of path: \tmp\hadoop-MayPayne\mapred\staging\MayPayne2016979439\.staging to 0700 

我在执行 MapReduce 作业时遇到此错误，我使用的是 hadoop 1.0.4，然后我知道这是一个已知问题，我在 1.2.0 上尝试过，但问题仍然存在。我可以知道他们已经解决了这个问题的 hadoop 版本吗？

谢谢大家

Answer 1

在 Windows 7 上运行 nutch-1.7 时，我遇到了同样的异常。

bin/nutch crawl urls -dir crawl11 -depth 1 -topN 5

以下步骤对我有用

1. 从下载部分下载预构建的 JAR，patch-hadoop_7682-1.0.x-win.jar 。你可能会得到 hadoop 的步骤。
2. 将patch-hadoop_7682-1.0.x-win.jar复制到${NUTCH_HOME}/lib目录下

3. 修改 ${NUTCH_HOME}/conf/nutch-site.xml 以启用覆盖实现，如下所示：

   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <!-- Put site-specific property overrides in this file. -->
   <configuration>
       <property>
           <name>fs.file.impl</name>
           <value>com.conga.services.hadoop.patch.HADOOP_7682.WinLocalFileSystem</value>
           <description>Enables patch for issue HADOOP-7682 on Windows</description>
       </property>
    </configuration>
   

4. 像往常一样运行你的工作（使用 Cygwin）。

Answer 2

下载hadoop-core-0.20.2.jar并将其放在 nutcher 的 lib 目录中解决了我的问题

（在 windows 的情况下）如果仍然没有为您解决，请尝试使用这个hadoop 的补丁

Answer 3

设置以下 vm 参数

-Dhadoop.tmp.dir=<A directory location with write permission>

覆盖默认的 /tmp 目录

也使用 hadoop-core-0.20.2.jar ( http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/0.20.2 ) 将解决报告的问题。

Answer 4

我设法通过稍微更改 hadoop-core jar 文件来解决这个问题。更改了 hadoop-core.jar 文件中 FileUtil.java 中的错误导致方法，并重新编译并包含在我的 eclipse 项目中。现在错误消失了。我建议你们每个人都这样做。