-1

我有 3 个 docker kafka、divolt 和 streamets ( https://github.com/divolte/docker-divolte ) 由 compose-up 启动。我想将主题消息转换为 avro 文件。我在 streamset 中创建了管道并粘贴了 avro 模式，但出现错误：

com.streamsets.pipeline.api.base.OnRecordErrorException: KAFKA_37 - Cannot parse record from message 'divolte::3::0': java.io.IOException: Invalid int encoding
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.createRecord(MultiKafkaSource.java:192)
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.sendBatch(MultiKafkaSource.java:158)
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.call(MultiKafkaSource.java:135)
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.call(MultiKafkaSource.java:79)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: Invalid int encoding

我认为问题出在不正确的 avro 架构中。你能告诉我在哪里可以找到正确的 avro 架构吗？我在 dockers 和 github 中找不到它。

4

1 回答 1

0

看起来它可能在 Divolte GitHub 存储库中，位于https://github.com/divolte/divolte-schema/blob/master/src/main/resources/DefaultEventRecord.avsc

于 2020-02-20T00:45:15.053 回答