我有 20 个节点集群,带有 cassandra 2.1.11、独立 spark 1.5 和 cassandra-connector 2.10:1.5。当我运行 spark 任务时,它们成功完成,但在启动任务的最初时刻,其中一个节点非常过载(操作系统负载约为 90%,cassandra 堆使用率为 100%),否则另一个节点保持 10% 的 cpu 使用率和 20% 的堆使用率。几秒钟后,堆正常出现(3-4Gib),但在某些情况下,我有 OutOfMemory(按堆)或/和 GC 长时间暂停。在所有测试中,单个重载节点是相同的。
所有节点都具有相同的 cassandra 参数和 xmx=19Gib。
如何解决单个 cassandra 节点过载?