2

我在我的猪脚本中使用这些行：

set default_parallel 20;
requests = LOAD ‘/user/me/todayslogs.gz’ USING customParser;
intermediate_results = < some-processing ... >
some_data = FOREACH intermediate_results GENERATE day, request_id, result;
STORE some_data INTO '/user/me/output_data' USING PigStorage(',');

'/user/me/todayslogs.gz' 包含数千个压缩文件，每个文件大小为 200 MB。

脚本完成后，“/user/me/output_data”在 HDFS 上有数千个微小 (<1 KB ) 文件。

我必须在另一个猪脚本中读取“/user/me/output_data”中的文件以进行进一步处理。我看到它会损害性能。如果 some_data 输出的文件是 gzip-ed，性能会更差。

这是 MapReduceLauncher 的输出。

2013-11-04 12:38:11,961 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Processing aliases campaign_join,detailed_data,detailed_requests,fields_to_retain,grouped_by_reqid,impressions_and_clicks,minimal_data,ids_cleaned,request_id,requests,requests_only,requests_typed,xids_from_request
2013-11-04 12:38:11,961 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - detailed locations: M: requests[30,11],campaign_join[35,16],null[-1,-1],null[-1,-1],detailed_requests[37,20],detailed_data[39,16],null[-1,-1],minimal_data[49,15],null[-1,-1],ids_cleaned[62,18],grouped_by_reqid[65,21] C:  R: null[-1,-1],xids_from_request[66,21],impressions_and_clicks[69,26],fields_to_retain[70,20],requests_only[67,17],request_id[68,18],requests_typed[73,17]

如何强制 PigStorage 将输出写入更少的输出文件？

4

3 回答 3

10

发生这种情况的原因是因为您的工作仅限地图。在您执行的处理过程中不需要减少阶段，因此每个映射器将记录输出到自己的文件中，最终每个映射器都有一个文件。如果您有数千个输入文件，那么您就有数千个输出文件。

使用 an 时这种情况消失的原因ORDER BY是因为它触发了 reduce 阶段，此时默认的并行度 20 开始发挥作用。

如果你想避免这种行为，你必须以某种方式强制减少阶段。由于您已经在做 a JOIN，您可以选择不这样做USING 'replicated'。或者，如果您处于不进行联接的情况，则可以使用 do-nothing 强制它GROUP BY，如下所示：

reduced = FOREACH (GROUP some_data BY RANDOM()) GENERATE FLATTEN(some_data);
于 2013-11-05T15:37:02.003 回答
1

您可能想要组合多个输入文件并将其输入到单个映射器中。以下链接应该对您有所帮助。
http://pig.apache.org/docs/r0.10.0/perf.html#combine-files

您可能希望对第一个和第二个脚本执行此操作。

于 2013-11-06T08:12:38.850 回答
0

另一种解决方案是在将小文件连接成大文件的作业之后运行脚本。

于 2018-02-17T04:28:28.987 回答