2

我已经在我的系统（Ubuntu 14.04）中成功安装并执行了一个 mapreduce 程序。

我可以看到输出文件，

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -ls /user/hadoopuser/MapReduceSample-output
Found 3 items
-rw-r--r--   1 hadoopuser supergroup          0 2014-07-09 16:10 /user/hadoopuser/MapReduceSample-output/_SUCCESS
drwxr-xr-x   - hadoopuser supergroup          0 2014-07-09 16:10 /user/hadoopuser/MapReduceSample-output/_logs
-rw-r--r--   1 hadoopuser supergroup     880838 2014-07-09 16:10 /user/hadoopuser/MapReduceSample-output/part-00000

我可以使用以下命令在终端上打开它，

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -cat /user/hadoopuser/MapReduceSample-output/part-00000

我可以在终端上看到输出文件，但我看不到完整的结果，因为我的输出有大量的行。

所以我想在geditor上打开它nano。

需要解决方案。

4

4 回答 4

3

您还可以使用getmerge将 HDFS 文件复制到本地系统。

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -getmerge /user/hadoopuser/MapReduceSample-output/part-00000 /home/arul/MROutput

hadoop dfs -getmerge /path/to/HDFS /path/to/save

于 2014-08-20T09:56:22.973 回答
1

您无法从本地机器（系统用户）访问 HDFS 文件，因此您无法使用gedit.

要打开，gedit您必须复制到本地计算机。

为此，请打开终端（Ctrl++ Alt）T并使用copyToLocalHadoop Shell 命令将输出文件复制到本地计算机。

请执行下列操作，

hadoopuser@arul-PC:/usr/local/hadoop$ sudo bin/hadoop dfs -copyToLocal /user/hadoopuser/MapReduceSample-output/part-00000 /home/arul/Downloads/

gedit现在您可以使用如下方式打开输出文件，

$ sudo gedit /home/arul/Downloads/part-00000

笔记 ：

  1. 我的HDFS用户名是hadoopuser.
  2. 您可以将文件从HDFS移动到本地计算机。Hadoop Shell 命令 fs -mv允许移动不同的 HDFS 位置。
  3. 更多Hadoop Shell 命令（点击这里）。

更新（另一个选项来自Y-Prithvi的帖子）

您还可以使用 getmerge 将 HDFS 文件复制到本地系统。

hadoopuser@arul-PC:/usr/local/hadoop$ bin/hadoop dfs -getmerge /user/hadoopuser/MapReduceSample-output/part-00000 /home/arul/MROutput

hadoop dfs -getmerge /path/to/HDFS /path/to/save
于 2014-08-20T09:38:58.077 回答
1

而不是寻找插件。您可以在 Eclipse 中从 $HADOOP_INSTALL/bin 添加 jar 文件，并且编译器问题必须消失。

于 2014-05-14T12:13:55.487 回答
0

用于 Hadoop 开发的 Eclipse 设置

这应该有帮助

于 2014-05-15T04:52:47.680 回答