0

我可以在不设置 HDFS 的情况下运行 Hadoop 流应用程序吗？我想在我的本地机器上测试一个 Hadoop 流应用程序。特别是，我试图按照本教程的说明进行操作，但是，我不想在 DFS 上为输入/输出指定路径，而是指定一个本地路径。

hadoop-streaming.jar 的帮助页面指出这些-input/-output值在 DFS 上。我在某处错过了一个选项吗？

4

1 回答 1

0

流式脚本从标准输入读取并写入标准输出。以下脚本可用于从本地文件系统读取流脚本。请注意，它不能以分布式方式工作，主要用于脚本的单元测试。

猫 ./input.txt | ./word_count_map.py | 排序-k1,1 | ./word_cound_reduce.py > output.txt

于 2013-09-13T12:33:39.680 回答