0

我有一个有四个节点的集群，每个节点都有 70G 数据。当我向集群添加一个新节点时，它总是会警告我关于墓碑问题，如下所示：

WARN  09:38:03 Read 2578 live and 1114 tombstoned cells in xxxtable (see tombstone_warn_threshold).
10000 columns was requested, slices=[-], delInfo={deletedAt=-9223372036854775808,
localDeletion=2147483647, ranges=[FAE69193423616A400258D99B9C0CCCFEC4A9547C1A1FC17BF569D2405705B8E:_-FAE69193423616A400258D99B9C0CCCFEC4A9547C1A1FC17BF569D2405705B8E:!,
deletedAt=1456243983944000, localDeletion=1456243983][FAE69193423616A40EC252766DDF513FBCA55ECDFAF452052E6C95D4BD641201:_-FAE69193423616A40EC252766DDF513FBCA55ECDFAF452052E6C95D4BD641201:!,
deletedAt=1460026357100000, localDeletion=1460026357][FAE69193423616A41BED8E613CD24BF3583FB6C6ABBA13F19C3E2D1824D01EF6:_-FAE69193423616A41BED8E613CD24BF3583FB6C6ABBA13F19C3E2D1824D01EF6:!, deletedAt=1458176745950000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3B06C1306E35B0ACA719D800D254E5930:_-FAE69193423616A41BED8E613CD24BF3B06C1306E35B0ACA719D800D254E5930:!, deletedAt=1458176745556000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3BA2AE7FC8340F96CC440BDDFFBCBE7D0:_-FAE69193423616A41BED8E613CD24BF3BA2AE7FC8340F96CC440BDDFFBCBE7D0:!,
deletedAt=1458176745740000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3E5A681C7ECC09A93429CEE59A76DA131:_-FAE69193423616A41BED8E613CD24BF3E5A681C7ECC09A93429CEE59A76DA131:!,
deletedAt=1458792793219000, localDeletion=

最后需要很长时间才能开始并抛出 java.lang.OutOfMemoryError: Java heap space

以下是错误日志：

信息 20:39:20 ConcurrentMarkSweep GC 在 5859 毫秒内。CMS 老一代：6491794984 -> 6492437040；Par Eden 空间：1398145024 -> 1397906216；Par Survivor Space: 349072992 -> 336156096
INFO 20:39:20 refresh_token 排队刷新：693 (0%) on-heap, 0 (0%) off-heap
信息 20:39:20 池名称 活动 待处理 已完成 已阻止 所有时间已被阻止
信息 20:39:20 log_user_track 的排队刷新：7047 (0%) on-heap, 0 (0%) off-heap
信息 20:39:20 CounterMutationStage 0 0 0 0 0
INFO 20:39:20 排队刷新用户输入框：42819 (0%) on-heap, 0 (0%) off-heap
INFO 20:39:20 排队刷新消息：7954 (0%) 堆上，0 (0%) 堆外
信息 20:39:20 ReadStage 0 0 0 0 0
信息 20:39:20 请求响应阶段 0 0 6 0 0
信息 20:39:20 sstable_activity 的排队刷新：6567 (0%) on-heap, 0 (0%) off-heap
信息 20:39:20 ReadRepairStage 0 0 0 0 0
信息 20:39:20 convmsgs 排队刷新：2132 (0%) 堆上，0 (0%) 堆外
信息 20:39:20 突变阶段 0 0 72300 0 0
INFO 20:39:20 sstable_activity 的排队刷新：1791 (0%) on-heap, 0 (0%) off-heap
信息 20:39:20 GossipStage 0 0 23655 0 0
信息 20:39:20 log_user_track 的队列刷新：1165 (0%) on-heap, 0 (0%) off-heap
信息 20:39:20 反熵阶段 0 0 0 0 0
信息 20:39:20 sstable_activity 的排队刷新：2388 (0%) on-heap, 0 (0%) off-heap
信息 20:39:20 CacheCleanupExecutor 0 0 0 0 0
java.lang.OutOfMemoryError：Java 堆空间
将堆转储到 java_pid17155.hprof ...

当我运行时nodetool tpstats，我看到 MemtableFlushWriter 和 MemtablePostFlush 的任务正在等待很多。

池名称 Active Pending Completed Blocked All time Blocked
反突变阶段 0 0 0 0 0
读取阶段 0 0 0 0 0
请求响应阶段 0 0 8 0 0
突变阶段 0 0 1382245 0 0
读取修复阶段 0 0 0 0 0
八卦舞台 0 0 23553 0 0
缓存清理执行器 0 0 0 0 0
反熵阶段 0 0 0 0 0
迁移阶段 0 0 0 0 0
验证执行器 0 0 0 0 0
提交日志存档器 0 0 0 0 0
杂项阶段 0 0 0 0 0
MemtableFlushWriter 4 7459 220 0 0
MemtableReclaimMemory 0 0 231 0 0
待定范围计算器 0 0 3 0 0
MemtablePostFlush 1 7464 331 0 0
压实执行器 3 3 269 0 0
内部响应阶段 0 0 0 0 0
提示切换 0 0 4 0 0
4

0 回答 0