10

我被困了几天，因为我想根据我在 hive 上的查询创建一个自定义 map reduce 程序，我在谷歌搜索后发现的例子并不多，我仍然对规则感到困惑。

创建我的自定义 mapreduce 程序的规则是什么，mapper 和 reducer 类呢？

任何人都可以提供任何解决方案吗？

我想用Java开发这个程序，但我仍然卡住了，然后在收集器中格式化输出时，如何在mapper和reducer类中格式化结果？

有人想给我一些关于这种东西的例子和解释吗？

4

1 回答 1

23

基本上有两种方法可以将自定义映射器/缩减器添加到配置单元查询。

  1. 使用transform

SELECT TRANSFORM(stuff1, stuff2) 从 table1 使用“脚本”作为 thing1，thing2

其中 stuff1, stuff2 是 table1 中的字段， script 是接受我稍后描述的格式的任何可执行文件。thing1,thing2 是脚本的输出

  1. 使用 map 和 reduce
FROM (
    FROM table
    MAP table.f1 table.f2
    USING 'map_script'
    AS mp1, mp2
    CLUSTER BY mp1) map_output
  INSERT OVERWRITE TABLE someothertable
    REDUCE map_output.mp1, map_output.mp2
    USING 'reduce_script'
    AS reducef1, reducef2;

这稍微复杂一些，但提供了更多控制。这有两个部分。在第一部分中，映射器脚本将接收数据table并将其映射到字段 mp1 和 mp2。然后将这些传递给reduce_script，此脚本将接收我们在 中指定的键上的排序输出CLUSTER BY mp1。请注意，一个 reducer 将处理多个 key。减少脚本的输出将转到表someothertable

现在所有这些脚本都遵循一个简单的模式。他们将从标准输入中逐行读取。字段将被\t分隔，它们将以相同的方式写回标准输出（由 '\t' 分隔的字段）

看看这个博客，有一些很好的例子。

http://dev.bizo.com/2009/07/custom-map-scripts-and-hive.html

http://dev.bizo.com/2009/10/reduce-scripts-in-hive.html

于 2011-07-27T07:24:25.037 回答