2

在尝试对我们的键空间中的一个列族进行 nodetool 修复时，需要帮助了解 Cassandra 发生了什么。

我们正在运行 Cassandra 2.0.7，并有一个用于索引系统中对象数据的表。

CREATE TABLE ids_by_text (
  object_type text,
  field_name text,
  ref_type text,
  value text,
  ref_id timeuuid,
  PRIMARY KEY((object_type,field_name,ref_type),value,ref_id)
)

行可以增长到相当大。我们在数据库中大约有 1000 万个对象，平均有 4-6 个字段通过上表对它们进行索引。对我来说似乎并不多。

在运行 nodetool repair 时，我们会运行一段时间，然后遇到抛出以下异常的点：

ERROR [AntiEntropySessions:8] 2014-07-06 16:47:48,863 RepairSession.java (line 286) [repair #5f37c2e0-052b-11e4-92f5-b9bfa38ef354] session completed with the following error
org.apache.cassandra.exceptions.RepairException: [repair #5f37c2e0-052b-11e4-92f5-b9bfa38ef354 on apps/ids_by_text, (-7683110849073497716,-7679039947314690170]] Sync failed between /10.0.2.166 and /10.0.2.163
    at org.apache.cassandra.repair.RepairSession.syncComplete(RepairSession.java:207)
    at org.apache.cassandra.service.ActiveRepairService.handleMessage(ActiveRepairService.java:236)
    at org.apache.cassandra.repair.RepairMessageVerbHandler.doVerb(RepairMessageVerbHandler.java:59)
    at org.apache.cassandra.net.MessageDeliveryTask.run(MessageDeliveryTask.java:60)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
 INFO [ScheduledTasks:1] 2014-07-06 16:47:48,909 GCInspector.java (line 116) GC for ConcurrentMarkSweep: 66029 ms for 1 collections, 7898896176 used; max is 8547991552
 INFO [GossipTasks:1] 2014-07-06 16:47:48,901 Gossiper.java (line 883) InetAddress /10.0.2.162 is now DOWN
 INFO [GossipTasks:1] 2014-07-06 16:47:49,181 Gossiper.java (line 883) InetAddress /10.0.2.163 is now DOWN
 INFO [GossipTasks:1] 2014-07-06 16:47:49,184 StreamResultFuture.java (line 186) [Stream #da84b3e1-052b-11e4-92f5-b9bfa38ef354] Session with /10.0.2.163 is complete
 WARN [GossipTasks:1] 2014-07-06 16:47:49,186 StreamResultFuture.java (line 215) [Stream #da84b3e1-052b-11e4-92f5-b9bfa38ef354] Stream failed
 INFO [GossipTasks:1] 2014-07-06 16:47:49,187 Gossiper.java (line 883) InetAddress /10.0.2.165 is now DOWN
 INFO [GossipTasks:1] 2014-07-06 16:47:49,188 Gossiper.java (line 883) InetAddress /10.0.2.164 is now DOWN
 INFO [GossipTasks:1] 2014-07-06 16:47:49,189 Gossiper.java (line 883) InetAddress /10.0.2.166 is now DOWN
 INFO [GossipTasks:1] 2014-07-06 16:47:49,189 StreamResultFuture.java (line 186) [Stream #da84b3e0-052b-11e4-92f5-b9bfa38ef354] Session with /10.0.2.166 is complete
 WARN [GossipTasks:1] 2014-07-06 16:47:49,189 StreamResultFuture.java (line 215) [Stream #da84b3e0-052b-11e4-92f5-b9bfa38ef354] Stream failed

此时，其他节点将无响应，抛出 TPStatus 日志并且基本上无响应。系统不会从中恢复。我们死了。

我在所有节点上运行并运行了“nodetool scrub”。这对他们中的大多数人都有效，有些失败了，所以我对他们使用了“sstablescrub”。我们编写了一个执行子范围修复的脚本，我可以识别出有问题的范围，但我还没有做足够的测试来知道这是一致的还是有症状的。当它降低生产时测试很困难，所以我必须小心。

侧边栏问题...您如何停止正在进行的维修？如果我能看到事情横向发展，我想阻止它。

请注意，键空间中的每个其他列族都可以正常修复。

我不确定要提供什么其他细节。一个星期以来，我们一直在为此苦苦挣扎，好吧，我们被困住了。

4

2 回答 2

1

这（https://issues.apache.org/jira/browse/CASSANDRA-7330）可能与修复失败后无响应有关。它已在最新的 2.0.9 版本中修复。

如何停止正在进行的维修？

它仍在进行中（https://issues.apache.org/jira/browse/CASSANDRA-3486）。

于 2014-07-07T12:58:27.617 回答
1

您可以在 2.1.* 中停止修复，如下所示：

wget -q -O jmxterm.jar http://downloads.sourceforge.net/cyclops-group/jmxterm-1.0-alpha-4-uber.jar
java -jar ./jmxterm.jar
open localhost:7199 -u [optional username] -p [optional password]
bean org.apache.cassandra.db:type=StorageService
run forceTerminateAllRepairSessions
于 2016-03-03T02:19:20.723 回答