在什么条件下使用 Hive 引擎 TEZ 优于 MR?
各自的优缺点是什么?
TEZ 和 MR 一样,只是速度更快。查询越复杂,TEZ 的好处就越大。所以 TEZ 在工作时总是更可取。
Tez 通过为单个作业提供执行复杂 DAG(有向无环图)任务的能力,将 MapReduce 范式推广到更强大的框架。当计划通过 map-reduce 原语实现时,不可避免地存在许多作业边界,这会为持久存储和作业启动引入读/写开销,并且可能会错过简单的优化机会,例如工作节点重用和暖缓存.
当然,在您的 TEZ 版本中还有一些错误尚未解决 - 这是您在 TEZ 上实施某些特定解决方案时可能面临的唯一问题。
虽然 MR 更成熟,但 Hive-on-MR 在 Hive 2 中已弃用,并且可能在未来的版本中不可用。
另请阅读:
还有这个: