有人知道并向我解释一下 Tez 的这些设置之间的区别吗？
hive.tez.container.size和tez.task.resource.memory.mb
谢谢。
问问题
4782 次
1 回答
3
hive.tez.container.size
此属性指定 tez 容器大小。通常此属性的值应与 YARN 容器大小yarn.scheduler.minimum-allocation-mb相同或小倍数（1 或 2 倍），并且不应超过yarn.scheduler.maximum-allocation-mb 的值。
作为一般规则，不要将值设置为高于每个处理器的内存，因为您希望每个容器有 1 个处理器，并且您希望启动多个容器。
您可以在此处找到关于 Hortonworks 社区答案的非常详细的答案和出色的架构图
tez.task.resource.memory.mb
TEZ 容器中启动的任务使用的内存量。通常这个值是在 DAG 中设置的，但如果不是，那么默认情况下它将设置为 1024 MB。
DAG 中的所有任务都将具有相同的大小，这有助于容器重用，也有利于性能。
于 2019-01-30T04:38:40.823 回答