1

我想在我的应用程序上实现 hive+hadoop map reduce 程序,我仍然想知道,因为我已经多次尝试查询和查找有关 hive 中 map reduce 程序的信息。

我的问题是,蜂巢有自己的地图减少程序吗?因为当我尝试一点复杂的查询时,日志就像:

Job running in-process (local Hadoop)
2011-05-26 14:10:02,004 null map = 100%,  reduce = 100%
Ended Job = job_local_0001

该查询中有 map reduce 过程,然后如果我尝试用谷歌搜索一些在 hive 中实现的 map reduce 程序,还有其他方法可以创建我们的 map reduce 程序。

我的意见是,我们可以使用 hive 来处理数据挖掘(大型查询)(我不知道对错?请纠正我)我们可以创建我们的 map reduce 程序以在 hive 中实现特定任务(这是真的吗?)

对此有什么解释吗?

谢谢大家的解释和关注,对不起我的英语不好..谢谢..:D

4

1 回答 1

2

不,它使用 Hadoop 的 MapReduce。但它使用 MapReduce 来聚合查询所需的数据。因此,如果您已经搜索了每个值以及特定键,Hive 将对您的输入运行 MapReduce 作业以获取数据。

基本上,HIVE 使用 mapreduce 并将 SQL-Like 语言转换为 MapReduce 作业。

于 2011-05-26T07:54:02.750 回答