I have a question on UDF's on Hive. When I am using an UDF in a hive query, does it process the data in a MapReduce manner? For instance when I use the function avg. Does Hive convert the function in mapReduce Jobs? Bests
问问题
248 次
1 回答
0
在大多数情况下，Hive 查询将被转换为 map/reduce 作业（例外情况是 HBase 表上的 SELECT *）。Average (avg) 是一个内置的聚合函数，而不是 UDF，但是这个 Hive 将在 map/reduce 作业中处理这两者。
请注意，Hive 的未来版本可能会对此进行改进（例如，参见这篇关于 Hive Stinger 倡议的帖子）但如上所述，目前它主要是 m/r
于 2013-08-22T20:18:17.660 回答