0

将较小文件从多个 HDFS 文件夹复制到一个目标文件夹的有效方法是什么？为了使 Map-Reduce 生效，还需要合并较小的文件。

4

2 回答 2

0

您可以简单地运行默认 Map-Reduce 作业（使用默认 Mapper 和 Reducer），将“多个 HDFS 文件夹”作为输入，一个目标文件夹作为输出。

于 2013-08-07T18:21:39.853 回答
0

DistCp是一种 map- reduce作业，它以并行方式将文件从一个或多个源文件夹复制到一个目标文件夹。但是，它不合并文件。但也许你可以使用filecrush来做到这一点！（让我知道这是怎么回事！）

于 2013-08-06T14:25:33.263 回答