1

我使用 Confluent HDFS 连接器将数据从 Kafka 主题移动到 HDFS 日志文件。但是当我运行这些命令时：

./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \ etc/kafka-connect-hdfs/quickstart-hdfs.properties

我正在采取跟随错误。我怎么解决这个问题。这是什么原因？

起因：org.apache.kafka.common.errors.SerializationException：反序列化 id -1 的 Avro 消息时出错 起因：org.apache.kafka.common.errors.SerializationException：未知魔术字节！[2017-06-03 13:44:41,895] 错误任务被杀死，直到手动重新启动才能恢复（org.apache.kafka.connect.runtime.WorkerTask:142）

4

1 回答 1

1

如果您尝试读取连接器的数据并设置key.converter并value.converter成为，AvroConverter但您的输入主题具有未由AvroSerializer使用模式注册表的相同序列化的数据，则会发生这种情况。

您必须将转换器与输入数据相匹配。换句话说，使用可以反序列化输入数据的序列化器。

于 2017-06-03T11:50:30.373 回答