0

我使用SequenceFileInputFormat作为地图的输入，其中键是文本，值是文本。有106 个文件，每个文件在 500 MB 到 750 MB 之间。我看到了我的日志，上面说分割数是 290。

我想知道是否有办法增加拆分次数，因为我的工作需要大量时间来运行。谢谢您的帮助。

4

1 回答 1

1

mapreduce.input.fileinputformat.split.maxsize您可以使用该属性通过减小每个拆分的最大大小来增加拆分的数量。要设置的值是以字节为单位的最大拆分大小。

于 2014-07-19T05:42:25.627 回答