0

我们有一个在单个节点上运行的作业，最多需要 40m 才能完成，而通过 M/R，我们希望将其缩短到 2m 以下，但我们不确定该过程的哪些部分进入map()和reduce().

当前流程：
对于键列表，为每个键调用 Web 服务并获取 xml 响应；将 xml 转换为管道分隔的格式；最后输出一个文件...

def keys = 100..9999
def output = new StringBuffer()
keys.each(){ key -> 
   def xmlResponse = callRemoteService( key)
   def transformed = convertToPipeDelimited( xmlResponse)
   output.append( transformed)
}
file.write( output)

Map/Reduce 模型
这是我使用 map/reduce 对其进行建模的方式，只是想确保我走在正确的道路上......

映射器
从keys.txt中提取键；我为每个密钥调用远程服务并存储密钥/xml 对...

public static class XMLMapper extends Mapper<Text, Text, Text, Text> {
        private Text xml = new Text();
        public void map(Text key, Text value, Context context){          
           String xmlResponse = callRemoteService( key)
           xml.set( xmlResponse)
           context.write(key, xml);
        }
    }

Reducer
对于每个键/xml 对，我将 xml 转换为管道分隔格式，然后写出结果......

public static class XMLToPipeDelimitedReducer extends Reducer<Text,Text,Text,Text> {
        private Text result = new Text();
        public void reduce(Text key, Iterable<Text> values, Context context ) { 
            String xml = values.iterator().next();
            String transformed = convertToPipeDelimited( xml);   
            result.set( transformed);
            context.write( key, result);
        }
    }

问题

  • map()在进行转换时调用 Web 服务是一种好习惯吗reduce()？在 中进行这两项操作有什么好处 map()？
  • 我不检查重复项，reduce()因为 keys.txt 不包含重复键；那安全吗？
  • 如何控制输出文件的格式？TextOutputFormat看起来很有趣；我希望它像这样读...
100|foo bar|$456,098
101|bar foo|$20,980
4

1 回答 1

1

出于以下几个原因，您应该在地图方面进行转换：

  • 从 xml 转换为管道分隔将减少您要序列化并传输到 reducer 的数据量。
  • 您将运行多个 map 作业，但只有一个 reduce 作业，因此您希望转换 map 端以利用该并行性。
  • 由于所有工作都在地图方面，您可以只使用提供的 IdentityReducer 而不必为此编写自己的代码。

如果你想要一个输出文件，你会想要使用一个 reducer；map-reduce 每个 reducer 生成一个输出文件。

如果您确定没有重复的键，那么是的，忽略重复的 reduce-side 应该是安全的。

我相信 TextOutputFormat 默认情况下会将您的（键，值）对作为制表符分隔的字符串写入文件，因此不是您想要的格式。请参阅此处了解如何更改它。

您的网络服务将成为这里的一个限制因素。假设您希望 40 分钟的作业在 2 分钟内运行，您可能需要 40 个左右的地图作业从中读取。它可以处理 40 个并发读者吗？

您的另一个限制因素将是减少方面。假设您想要一个按键排序的单个输出文件，您将不得不使用一个减速器，并且它必须对您的所有输入进行排序，这可能需要一点时间。

一旦你的代码工作，你将不得不运行一些实验，看看哪些设置给你一个合理的运行时间。祝你好运。

于 2013-07-17T15:11:19.047 回答