0

我想用 hadoop 控制 Map 和 Reduce 之间的中间结果。我想指定在 Map 之后将这些结果复制到哪里。我会选择会减少的数据。总之，我想要地图的结果，然后再进行洗牌和排序，然后做我想做的事。如果您有解决方案，请告诉我。

谢谢

4

1 回答 1

0

您可以在特定映射器获得 InputSplit 后处理数据。将逻辑指定为map函数。

  1. 我想指定在 Map 之后将这些结果复制到哪里

    使用ContextJava 类并FileSystem在 FS（本地、hdfs、ftp、...）上刷新结果

  2. 我会选择会减少的数据

    我想要地图的结果，然后再进行洗牌和排序，然后做我想做的事

    在Class中指定map函数的逻辑Mapper

于 2014-07-28T09:38:48.850 回答