1

到目前为止，我得到的唯一答案是，您必须为模式和主题赋予相同的名称，然后这应该将它们链接在一起。但是在注册一个名称test_topic如下的模式后：

{
  "type": "record",
  "name": "test_topic",
  "namespace": "com.test",
  "doc": "My test schema",
  "fields": [
    {
      "name": "name",
      "type": "string"
    }
  ]
}

并运行以下命令，它会毫无问题地插入。

curl -X POST -H "Content-Type: application/vnd.kafka.json.v2+json" -H "Accept: application/vnd.kafka.v2+json" --data '{"records":[{"value":{"name": "My first name"}}]}' "http://localhost/topics/test_topic"

但是当我也运行以下命令时，它会插入而不给出任何错误（注意，我更改了属性名称）

curl -X POST -H "Content-Type: application/vnd.kafka.json.v2+json" -H "Accept: application/vnd.kafka.v2+json" --data '{"records":[{"value":{"test": "My first name"}}]}' "http://localhost/topics/test_topic"

我会怀疑一条错误消息说我的数据与该主题的架构不匹配...

我的模式 ID 是 10，所以我知道它正在工作并已注册，但目前不是很有用。

蟒蛇代码：

from confluent_kafka import Producer
import socket
import json
conf = {'bootstrap.servers': 'localhost:9092', 'client.id': socket.gethostname()}
producer = Producer(conf)

def acked(err, msg):
    if err is not None:
        print(f'Failed to deliver message: {str(msg)}, {str(err)}')
    else:
        print(f'Message produced: {str(msg)}')

    producer.produce("test_topic", key="key", value=json.dumps({"test": name}).encode('ascii') , callback=acked)

producer.poll(5)
4

1 回答 1

2

您必须为架构和主题提供相同的名称，然后这应该将它们链接在一起

Schema Registry 的工作方式并非如此。

每个 kafka 记录都有一个键和一个值。

注册表有主题，这些主题并未严格映射到主题。

但是，Kafka 客户端（反）序列化器实现将使用主题名称topic-key和topic-value主题名称从注册表中注册/提取模式。

客户端无法告诉注册表将架构放在哪个 ID。该逻辑是在服务器端计算的

我不确定我是否理解您的帖子与 REST 代理有什么关系，但您发布的是纯 JSON 并没有告诉它数据应该是 Avro（您使用的标题不正确）

如果使用 Avro，内容类型将为application/vnd.kafka.avro.v2+json

于 2020-01-05T16:28:09.220 回答