-1

我最近在本地 ubuntu 上安装了 hadoop。我已经通过调用bin/start-all.sh脚本启动了数据节点。但是,当我尝试运行字数统计程序时

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /home/USER/Desktop/books /home/USER/Desktop/books-output

我总是遇到连接异常。文件夹“books”在我的桌面(本地文件系统)上。关于如何克服这个问题的任何建议?

我已按照教程中的每个步骤进行操作。我不知道如何摆脱这个错误。所有帮助将不胜感激。

4

2 回答 2

0

将您的书籍文件复制到您的 hdfs

对于输入路径参数,使用您复制的书籍文件的 hdfs 路径。

有关更多详细信息,请通过以下链接。

http://cs.smith.edu/dftwiki/index.php/Hadoop_Tutorial_1_---_Running_WordCount#Basic_Hadoop_Admin_Commands

于 2013-09-17T08:19:02.197 回答
0

这里有一点混乱,当您运行hadoop ...命令时,它使用的默认文件系统是hadoop 分布式文件系统,因此文件必须位于 hdfs 上以便 hadoop 访问它。

要将文件从本地文件系统复制到 hadoop 文件系统,您必须使用以下命令

hdfs dfs -copyFromLocal /path/in/local/file/system /destination/on/hdfs

还有一件事,如果你想直接从你的IDE运行程序,那么有时你会遇到这个问题,可以通过添加

core-site.xml and hdfs-site.xmlconf 变量中的文件类似于

conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml")); conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));

将上面的路径更改为 hdfs-site.xml 并将 core-site.xml 更改为您的本地路径。

-cp因此,也可以通过将上述参数添加到带有标签的 classPath 来从命令行提供上述参数。

于 2015-09-12T10:13:59.620 回答