0

猪中有一个属性名为

' pig.maxCombinedSplitSize ' - 指定单个映射要处理的数据的大小(以字节为单位)。较小的文件被合并,直到达到这个大小。

hive中是否有类似的属性来指定单个地图要处理的数据大小?

我正在尝试以下命令,但它不起作用。

'SET hive.maxCombinedSplitSize=64mb';

有什么建议么?

4

1 回答 1

0

尝试这个:

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.min.split.size=67108864;
于 2014-05-22T18:16:26.297 回答