在我们的集群中,我们的最小容器大小为 8 GB,大多数配置单元查询使用 1 个容器。(但肯定可能不会使用分配的所有内存)一些 spark 作业只使用 2GB 或 4GB,根据观察,我们不会为所有查询使用那么多内存。仍然所有容器都用完了。
那么,无论如何我们可以有效地管理。
我们总共有 30 个 vcore,总共 275 GB 内存,因为我们必须为每个容器分配 1 个 vcore,即装瓶到 30 个容器
有没有办法可以有效地利用所有 8gb 的容器?或增加容器数量或做一些其他事情。任何建议都会有所帮助