我是 hadoop 新手,需要在 windows 中设置一个沙箱环境来展示给客户。我已经按照下面提到的步骤
- 在所有机器上安装 cygwin
- 设置 ssh
- 安装hadoop 1.0.4
- 配置hadoop
- 为 hadoop-7682 错误应用补丁
经过大量的尝试和尝试,我成功地运行了所有组件(namenode、datanode、tasktracker 和 jobtracker)。但是现在我在运行 map-reduce 作业并在 tmp 目录上获得权限错误时遇到了问题。当我使用以下命令运行字数统计示例时
bin/hadoop jar hadoop*examples*.jar wordcount wcountjob wcountjob/gutenberg-output
13/03/28 23:43:29 信息 mapred.JobClient:任务 ID:尝试_201303282342_0001_m_000003_2,状态:失败初始化尝试_201303282342_0001_m_000003_2 时出错:java.io.IOException:无法设置路径的权限:c:\cygwin\ \taskTracker\uswu50754 到 org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662) 的 org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689) 的 org.apache.hadoop 的 0700 .fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344) 在 org.apache.hadoop.mapred.JobLocalizer.createLocalDirs(JobLocalizer.java:144 ) 在 org.apache.hadoop.mapred 的 org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:182)。TaskTracker$4.run(TaskTracker.java:1228) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation .doAs(UserGroupInformation.java:1121) 在 org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1203) 在 org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1118) 在 org. apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2430) 在 java.lang.Thread.run(Thread.java:662)1121) 在 org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1203) 在 org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1118) 在 org.apache.hadoop.mapred.TaskTracker $5.run(TaskTracker.java:2430) 在 java.lang.Thread.run(Thread.java:662)1121) 在 org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1203) 在 org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1118) 在 org.apache.hadoop.mapred.TaskTracker $5.run(TaskTracker.java:2430) 在 java.lang.Thread.run(Thread.java:662)
我已经尝试手动设置权限,但这也不起作用。我的理解是,这是由于使用了试图重置权限并失败的 java 库。解决tasktracker问题的权限补丁似乎并没有解决这个问题。
- 有没有人找到解决方案?
- 有人可以指点我下载似乎不受此问题影响的 Hadoop 0.20.2 的下载位置吗?