3

我已经在安装了 CYGWIN 的 Windows 中设置了 Hadoop1.2.1。我已经启动了 sshd 服务。还启动了namenode、datanode、mapreduce(job tracker、task tracker)。我可以通过以下 URL 查看 namenode、datanode 和 mapreduce 的运行状态。

当我尝试通过 eclipse 连接 hadoop 时,我能够。虽然我能够从 eclipse 连接 hadoop,但在打开 DFS 位置时我没有看到任何文件夹。它显示为(0)(参考图#1, 在此处输入图像描述我猜没有可用的目录/文件。我用namenode存储检查过同样的情况(参考图#2)

即使我尝试通过 CYGWIN 终端创建目录(请参阅图 #4),我也无法在 eclipse 环境中的 DFS 位置看到它。 在此处输入图像描述

话虽如此,我尝试了 WordCount 示例,通过如下设置输入路径和输出路径,//指定输入和输出目录

FileInputFormat.addInputPath(conf, new Path("Input")); 
FileOutputFormat.setOutputPath(conf, new Path("Output"));

当我从eclipse在HDFS位置运行它时,我得到了以下异常

13/10/30 06:52:44 错误 security.UserGroupInformation: PriviledgedActionException as:Administrator cause:org.apache.hadoop.mapred.InvalidInputException: 输入路径不存在: hdfs://localhost:47110/user/Administrator/Input org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs://localhost:47110/user/Administrator/Input

问题:为什么我看不到我通过 CYGWIN 终端创建的目录以及与此相关的任何文件夹?
“hdfs://localhost:47110”指向什么?
我是否得到了上述异常,因为它没有看到 datanode 中的目录?我应该设置什么输入路径?

请就此给我建议。

提前致谢。

4

1 回答 1

3

第一个你应该从头开始检查你的hadoop集群的所有设置,因为这个问题表明你没有用hadoop集群正确配置你的eclipse

请参阅以下链接以帮助您...

https://www.youtube.com/watch?v=TavehEdfNDk

还要检查您的 dfs 是否连接到您的集群或是否意味着能够存储文件并在您的 dfs 中。

于 2013-11-09T04:15:54.640 回答