0

我希望压缩我的减速器的输出（最好是 gzip）。

我能够使用 c#awssdk 成功启动 EMR 作业，但不知道如何更改作业配置以获得所需的结果。

我了解我需要为 emr 作业设置以下属性

mapred.output.compress：真

我如何在 c# 代码中执行此操作？还有如何让它产生 gzip 文件？

谢谢

4

1 回答 1

0 
 String[] zipArgs = new [] { "-jobconf", "mapred.output.compress=true"};

 HadoopJarStepConfig config = new StreamingStep()
            .WithInputs()
            .WithOutput()
            .WithMapper()
            .WithReducer()
            .ToHadoopJarStepConfig()
            .WithArgs(zipArgs)
            ;

您可以在http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-output-compression.html找到更多信息

于 2013-11-19T17:59:41.017 回答