1

我有一个系统将 Avro 数据推送到多个 Kafka 主题中。
我想将该数据推送到 HDFS。我遇到了融合，但不确定如何在不启动的情况下将数据发送到 HDFS kafka-avro-console-producer。

我执行的步骤：

  1. 我有自己的 Kafka 和 ZooKeeper 正在运行，所以我刚刚启动了融合的模式注册表。

  2. 我kafka-connect-hdfs在更改主题名称后开始。这一步也是成功的。它能够连接到 HDFS。

在此之后，我开始将数据推送到 Kafka，但消息没有被推送到 HDFS。

请帮忙。我是 Confluent 的新手。

4

1 回答 1

0

您可以避免使用 kafka-avro-console-producer 并使用您自己的生产者向主题发送消息，但我们强烈建议您使用 Confluent Schema Registry ( https://github.com/confluentinc/schema-registry )管理您的架构并使用与架构注册表捆绑的 Avro 序列化程序来保持您的 Avro 数据一致。有一篇很好的文章说明了为什么在这里这样做是个好主意。

如果您能够将使用 kafka-avro-console-producer 生成的消息发送到 HDFS，那么您的问题可能在于 kafka-connect-hdfs 连接器无法反序列化数据。我假设您正在阅读快速入门指南。如果您打算将 Avro 写入 HDFS，最好的结果将来自您在两侧（进出 Kafka）使用相同的序列化程序。本文档中描述了此过程的工作原理。

于 2017-01-20T15:39:34.043 回答