我已经在安装了 CYGWIN 的 Windows 中设置了 Hadoop1.2.1。我已经启动了 sshd 服务。还启动了namenode、datanode、mapreduce(job tracker、task tracker)。我可以通过以下 URL 查看 namenode、datanode 和 mapreduce 的运行状态。
当我尝试通过 eclipse 连接 hadoop 时,我能够。虽然我能够从 eclipse 连接 hadoop,但在打开 DFS 位置时我没有看到任何文件夹。它显示为(0)(参考图#1, 我猜没有可用的目录/文件。我用namenode存储检查过同样的情况(参考图#2)
即使我尝试通过 CYGWIN 终端创建目录(请参阅图 #4),我也无法在 eclipse 环境中的 DFS 位置看到它。
话虽如此,我尝试了 WordCount 示例,通过如下设置输入路径和输出路径,//指定输入和输出目录
FileInputFormat.addInputPath(conf, new Path("Input"));
FileOutputFormat.setOutputPath(conf, new Path("Output"));
当我从eclipse在HDFS位置运行它时,我得到了以下异常
13/10/30 06:52:44 错误 security.UserGroupInformation: PriviledgedActionException as:Administrator cause:org.apache.hadoop.mapred.InvalidInputException: 输入路径不存在: hdfs://localhost:47110/user/Administrator/Input org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs://localhost:47110/user/Administrator/Input
问题:为什么我看不到我通过 CYGWIN 终端创建的目录以及与此相关的任何文件夹?
“hdfs://localhost:47110”指向什么?
我是否得到了上述异常,因为它没有看到 datanode 中的目录?我应该设置什么输入路径?
请就此给我建议。
提前致谢。