在 Hive 2.2.0 上,我使用查询从另一个大小为 1.34 GB 的源表填充一个 orc 表
INSERT INTO TABLE TableOrc SELECT * FROM Table; ---- (1)
该查询创建了包含 6 个 orc 文件的 TableORC 表,这些文件远小于 256MB 的块大小。
-- FolderList1
-rwxr-xr-x user1 supergroup 65.01 MB 1/1/2016, 10:14:21 AM 1 256 MB 000000_0
-rwxr-xr-x user1 supergroup 67.48 MB 1/1/2016, 10:14:55 AM 1 256 MB 000001_0
-rwxr-xr-x user1 supergroup 66.3 MB 1/1/2016, 10:15:18 AM 1 256 MB 000002_0
-rwxr-xr-x user1 supergroup 63.83 MB 1/1/2016, 10:15:41 AM 1 256 MB 000003_0
-rwxr-xr-x user1 supergroup 69.11 MB 1/1/2016, 10:15:57 AM 1 256 MB 000004_0
-rwxr-xr-x user1 supergroup 23.83 MB 1/1/2016, 10:16:02 AM 1 256 MB 000005_0
为了潜在地消除这一点,下面的配置被多个其他 stackoverflow 用户建议使用,并且 TableORC 被截断并再次执行查询 (1)。
SET hive.merge.mapfiles=true;
SET hive.merge.mapredfiles=true;
SET hive.merge.size.per.task=128000000; -- (128MB)
SET hive.merge.smallfiles.avgsize=128000000; -- (128MB)
这次的结果是 TableOrc 有 3 个 ORC 文件和 LOGS 显示 3 个额外的 MR 作业
-- FolderList2
-rwxr-xr-x user1 supergroup 132.49 MB 1/1/2016, 11:47:01 PM 1 256 MB 000000_0
-rwxr-xr-x user1 supergroup 130.12 MB 1/1/2016, 11:47:02 PM 1 256 MB 000001_0
-rwxr-xr-x user1 supergroup 92.93 MB 1/1/2016, 11:47:03 PM 1 256 MB 000002_0
我的问题是当配置设置设置为使用 128MB ( https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties )时,为什么 ORC 文件大小大于 128MB
hive.merge.size.per.task
Default Value: 256000000
Added In: Hive 0.4.0
Size of merged files at the end of the job.