2

我有特殊的 Kafka HBase Sink 连接器问题，我将不胜感激任何建议或建议。

它是一个 3 节点 Kafka 集群 - 2 个节点用于连接分布式，1 个节点用于模式注册表 + kafka 流。Kafka 版本是 0.10.1，是 Hortonworks 平台 2.6.3 的一部分。还有 SSL 和 Kerberos 身份验证设置。最重要的是，我有自定义的 Kafka 应用程序，它接收消息，通过 Kafka 流处理它们并在 HBase 中传递它们。

过程模型为：

1）输入主题；

2）处理（在Kafka流中）；

3) 输出主题；

4) HBase sink 连接器；

5）HBase。

1) 中传递的消息被成功传输和处理，直到步骤 3) 包括在内。然后虽然接收器连接器工作正常，但没有消息传递到 HBase。

话虽如此，我使用单元测试创​​建了具有自己的基本设置的嵌入式 Kafka 集群来测试我们的自定义应用程序模型，并且测试成功。这很可能表明连接问题来自某些集群设置。

为了您的信息，我观察到 3 个具体的事情：

  • 标准的消费者控制台功能能够成功地消费来自 sink 主题的消息；

  • 已建立的接收器连接没有消费者 ID；

  • 连接过程成功启动，但由于未记录的原因而停止，并且不调用 WorkerSinkTask java 类，实际上是写入 HBase 的地方。

另外重要的一点是可能配置错误的整个 SSL 加密和 Kerberos 身份验证设置。

如果有人遇到这种情况，我将非常感谢任何可能有帮助的评论。

地米塔

4

0 回答 0