0

poll()对于SourceTask 实现中的方法，我有一个带有以下代码的 Kafka 连接器。

@Override
public List<SourceRecord> poll() throws InterruptedException 
{
    SomeType item = mQueue.take();
    List<SourceRecord> records = new ArrayList<>();
    SourceRecord[] sourceRecords = new SourceRecord[]{
        new SourceRecord(null, null, "data", null,
                         Schema.STRING_SCHEMA, "foo",
                         Schema.STRING_SCHEMA, "bar")
    };
    Collections.addAll(records, sourceRecords);

    return records;
}

如果我将消费者附加到数据主题，我会收到从连接器发送的以下消息：

{"schema":{"type":"string","optional":false},"payload":"foo"}   {"schema":{"type":"string","optional":false},"payload":"bar"}

如果我使用以下命令直接向主题发布消息：

echo -e 'foo,bar' > /tmp/test_kafka.txt
cat /tmp/test_kafka.txt | kafka-console-producer.sh --broker-list kafka-host:9092 --topic data --property parse.key=true --property key.separator=,

然后附加相同的消费者，我收到以下消息：

foo bar

这是我期望看到的连接器实现的输出，而不是{"schema":...我收到的消息。

如何更改实现，poll()以便在消息的实际键和值中不出现架构元数据的情况下发送消息？

4

1 回答 1

1

好的，原来这只是因为我有以下几行connect-standalone.properties

key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

我应该有

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter

作为替代解决方案，我还能够将以下设置从 true 更改为 false

value.converter.schemas.enable=false

然后在我的处理器类中，我将代码更改为：

SourceRecord[] sourceRecords = new SourceRecord[]{
    new SourceRecord(null, null, "data", null,
                     Schema.STRING_SCHEMA, "foo",
                     null, "bar")
};

这有所不同，因为我不再为该值指定架构。

于 2016-11-30T01:15:31.393 回答