我有一个包含 8 个 m3.2xlarge 叶节点(2x80 SSD,30GB RAM)的集群。
关于我的数据:
- 我有一个数据库
- 我有一个列存储表。
- 我的数据位于 s3 中。
- S3 文件大小为 250GB。
- 数据分为 40 个 6GB 文件。
当我尝试将此数据加载到表中时,导入过程在加载大约 60GB(10 个文件)的数据后失败。此时,Leaf MemSQL 内存几乎已满(212GB)。磁盘容量为 1.64TB,但仅使用了大约 150GB。
据我了解,ColumnStore 表位于磁盘中。如果是这样,为什么磁盘没有填满,而是叶子内存用完了?
需要注意的几点:
- 导入过程不断尝试处理其余文件并在每个文件中加载部分数据并失败。
- 在 8 个叶节点中,只有 2 个完全填满了内存(30GB 中有 27 个)。其余的约为 17GB
- 我使用 cloudformation 来设置集群,所有参数都设置为默认值。
我配置不正确吗?
任何帮助表示赞赏。
谢谢,拉姆。