hadoop - 将 Hadoop Mapreduce 输出到本地磁盘或 STDOUT

Question

是否必须将 hadoop map reduce 程序的输出写入 HDFS。我们可以将其写入本地磁盘或在标准输出上显示吗？

Answer 1

我不认为 hadoop 目录中必须有文件，这取决于您如何运行 MapReduce 作业。当我从 Eclipse 运行我的 mapreduce 程序时，它以“独立”模式运行，并在我的个人文件系统中创建一个文件夹。

mapreduce 的另一种操作模式是“分布式”模式。

我的地图减少了驱动程序类行，其中我提到了输出和输入路径。

    FileInputFormat.addInputPath(job, new Path("src/demo/fulldictionary.txt"));
    FileOutputFormat.setOutputPath(job, new Path("output"));

Answer 2

您可以编写一个扩展 TextOutputFormat 并覆盖 getRecordWriter() 方法的自定义类。在其中，您可以将输出写入本地 fs。