我正在使用 Impala,我知道 impala 在内存中进行处理。我已经搜索了 Impala 配置选项列表,但我没有找到任何完整的文档,特别是关于内存/堆的文档。Impala 有这样的设置吗?还是它依赖于 hdfs/datanode 堆空间?我知道您可以使用 来限制 impala 内存使用量-mem_limit
,但我试图更好地了解这是如何完成的。
问问题
2621 次
1 回答
2
从CDH 5.1.0中包含的 Impala 1.4.0 版本开始,Impala 在查询处理期间同时使用内存和磁盘。要了解有关如何控制 Impala 的内存使用的更多信息,我建议阅读有关 Impala 的 Cloudera 文档,尤其是:
您将找到有关如何配置 Impala 内存使用的许多方面的更多信息,包括与 HDFS 缓存和 Hadoop YARN 的集成(通过 Llama)。有关 HDFS 缓存的更多信息,请参阅2014 年 Hadoop 峰会上的 Andrew Wang 和 Colin McCabe 的演讲。有关 Llama 的更多信息,请参阅Henry Robinson 在 Hadoop World NYC 2013 上的演讲。
于 2014-07-23T03:18:31.863 回答