hadoop - 如何在 Hadoop 中设置减速器输出名称？

Question

我有一份工作会发出 900,000 种不同的输出。每一个都必须由一个特定的唯一名称来标识……这就是我在 mapOutputKey 上的“名称”。我如何在 map-reduce 中做到这一点？

Answer 1

您可以使用MultipleOutputs，在文档中您会发现几乎完全符合您需要的示例，您只需将generateFileName函数替换为这个：

String generateFileName(K k, V v) {
  return k.toString();
}