0

在什么条件下使用 Hive 引擎 TEZ 优于 MR?

各自的优缺点是什么?

4

1 回答 1

0

TEZ 和 MR 一样,只是速度更快。查询越复杂,TEZ 的好处就越大。所以 TEZ 在工作时总是更可取。

Tez 通过为单个作业提供执行复杂 DAG(有向无环图)任务的能力,将 MapReduce 范式推广到更强大的框架。当计划通过 map-reduce 原语实现时,不可避免地存在许多作业边界,这会为持久存储和作业启动引入读/写开销,并且可能会错过简单的优化机会,例如工作节点重用和暖缓存.

当然,在您的 TEZ 版本中还有一些错误尚未解决 - 这是您在 TEZ 上实施某些特定解决方案时可能面临的唯一问题。

虽然 MR 更成熟,但 Hive-on-MR 在 Hive 2 中已弃用,并且可能在未来的版本中不可用。

另请阅读:

MR 和 Tez 的区别

还有这个:

介绍特兹

于 2016-07-02T17:19:20.487 回答