memory - Cloudera Impala 的内存配置

Question

我正在使用 Impala，我知道 impala 在内存中进行处理。我已经搜索了 Impala 配置选项列表，但我没有找到任何完整的文档，特别是关于内存/堆的文档。Impala 有这样的设置吗？还是它依赖于 hdfs/datanode 堆空间？我知道您可以使用 来限制 impala 内存使用量-mem_limit，但我试图更好地了解这是如何完成的。

Answer 1

从CDH 5.1.0中包含的 Impala 1.4.0 版本开始，Impala 在查询处理期间同时使用内存和磁盘。要了解有关如何控制 Impala 的内存使用的更多信息，我建议阅读有关 Impala 的 Cloudera 文档，尤其是：

• 将 YARN 资源管理与 Impala 一起使用
• 在 Impala 中使用 HDFS 缓存
• 修改 Impala 启动选项

您将找到有关如何配置 Impala 内存使用的许多方面的更多信息，包括与 HDFS 缓存和 Hadoop YARN 的集成（通过 Llama）。有关 HDFS 缓存的更多信息，请参阅2014 年 Hadoop 峰会上的 Andrew Wang 和 Colin McCabe 的演讲。有关 Llama 的更多信息，请参阅Henry Robinson 在 Hadoop World NYC 2013 上的演讲。