21

有人可以告诉我 Kafka 消费者的再平衡算法是什么吗？我想了解分区计数和消费者线程如何影响这一点。

谢谢，

4

2 回答 2

39

好的，目前有 2 种重新平衡算法 -Range和RoundRobin. 它们也称为分区分配策略。

为简单起见，假设我们有一个T1包含 10 个分区的主题，并且我们还有 2 个具有不同配置的消费者（为了让示例更清晰）——C1设置num.streams为1和C2设置num.streams为2。

以下是如何与Range策略一起使用：

Range 按数字顺序排列可用分区，按字典顺序排列消费者线程。所以在我们的例子中，分区的0, 1, 2, 3, 4, 5, 6, 7, 8, 9顺序是，消费者线程的顺序是C1-0, C2-0, C2-1。然后分区数除以消费者线程数，确定每个消费者线程应该拥有多少个分区。在我们的例子中，它不会平均分配，因此线程C1-0将获得一个额外的分区。最终的分区分配如下所示：

C1-0获取分区0, 1, 2, 3
C2-0获取分区4, 5, 6
C2-1获取分区7, 8, 9

如果有 11 个分区，这些消费者的分区分配会发生一些变化：

C1-0会得到分区0, 1, 2, 3
C2-0会得到分区4, 5, 6, 7
C2-1会得到分区8, 9, 10

而已。

相同的配置不适用于RoundRobin策略，因为它要求num.streams订阅此主题的所有消费者都相等，因此假设两个消费者num.streams现在都设置为 2。与此处的策略相比，一个主要区别Range是您无法在重新平衡之前预测分配的内容。以下是如何与RoundRobin策略一起使用：

首先，在实际分配之前必须满足两个条件：

a) 每个主题在消费者实例中具有相同数量的流（这就是为什么我在上面提到每个消费者不同数量的线程将不起作用）
b) 对于组内的每个消费者实例，订阅的主题集都是相同的（我们有这里有一个主题，所以现在这不是问题）。

当这两个条件得到验证时，这些topic-partition对将按哈希码排序，以减少将一个主题的所有分区分配给一个消费者的可能性（如果要消费的主题不止一个）。

最后，所有topic-partition对都以循环方式分配给可用的消费者线程。例如，如果我们的主题分区最终会像这样排序：T1-5, T1-3, T1-0, T1-8, T1-2, T1-1, T1-4, T1-7, T1-6, T1-9并且消费者线程是，C1-0, C1-1, C2-0, C2-1那么分配将是这样的：

T1-5go to C1-0
T1-3go to C1-1
T1-0go to C2-0
T1-8go toC2-1
此时没有剩余消费者线程，但仍有更多主题分区，因此消费者线程的迭代重新开始：
T1-2go to C1-0
T1-1go to C1-1
T1-4go to C2-0
T1-7go toC2-1
再次：
T1-6go to C1-0
T1-9go toC1-1

此时，所有主题分区都已分配，每个消费者线程都有几乎相等数量的分区。

希望这可以帮助。

于 2015-02-18T09:46:09.487 回答
2

您可以阅读有关消费者注册算法和消费者再平衡算法的Kafka 文档http://kafka.apache.org/documentation/#impl_brokerregistration

正如它所说，每个消费者在重新平衡期间都会执行以下操作：

1. For each topic T that C<sub>i</sub> subscribes to
2.   let P<sub>T</sub> be all partitions producing topic T
3.   let C<sub>G</sub> be all consumers in the same group as C<sub>i</sub> that consume topic T
4.   sort P<sub>T</sub> (so partitions on the same broker are clustered together)
5.   sort C<sub>G</sub>
6.   let i be the index position of C<sub>i</sub> in C<sub>G</sub> and let N = size(P<sub>T</sub>)/size(C<sub>G</sub>)
7.   assign partitions from i*N to (i+1)*N - 1 to consumer C<sub>i</sub>
8.   remove current entries owned by C<sub>i</sub> from the partition owner registry
9.   add newly assigned partitions to the partition owner registry
    (we may need to re-try this until the original partition owner releases its ownership)

还要注意：

如果消费者多于分区，则一些消费者根本不会获得任何数据。在重新平衡期间，我们尝试以减少每个消费者必须连接的代理节点数量的方式将分区分配给消费者。

于 2017-07-24T01:30:41.247 回答