问题标签 [confluent-schema-registry]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
976 浏览

apache-kafka - 升级到 schema-registry 2.0.1 的问题

我们目前正在尝试从 schema-registry 1.0.1 升级到 2.0.1。我们看到这在升级之前使用以下版本工作:kafka_2.10 版本 0.9.0.2.4.0.0、kafka-avro-serializer 版本 2.0.1、avro 版本 1.7.7

升级后,之前成功的相同请求现在失败并出现 HTTP 404 错误:

我们使用 CURL 检查并能够使用示例发布架构:

然后我们认为 Avro schema: "string" 可能是问题所在,因此创建了一个 ThingKey schema 但仍然出现类似错误:

我们使用以下代码发布消息:

非常感谢任何想法或建议。

谢谢,罗斯


更新:已修复 - 问题是由于请求路径中的附加斜线导致失败,因为版本 2.0.1 中的验证更严格。详情请见:https ://github.com/confluentinc/schema-registry/issues/388

0 投票
2 回答
29994 浏览

apache-kafka - Kafka 中的 __consumer_offsets 和 _schema 主题有什么用?

搭建完Kafka Broker集群并创建了几个topic后,我们发现Kafka自动创建了以下两个topic:

  1. __consumer_offsets
  2. _schema

这些主题的重要性和用途是什么?

0 投票
2 回答
10651 浏览

java - KafkaAvroDeserializer 不返回 SpecificRecord 但返回 GenericRecord

MyKafkaProducer能够用于KafkaAvroSerializer将对象序列化到我的主题。但是,KafkaConsumer.poll()返回反序列GenericRecord化而不是我的序列化类。

MyKafka制片人

我的卡夫卡消费者

MyBean bean = record.value();该行会抛出一个强制转换异常,因为它无法将 GenericRecord 强制转换为 MyBean。

我正在使用kafka-client-0.9.0.1, kafka-avro-serializer-3.0.0

0 投票
0 回答
228 浏览

json - Confluent kafka rest 可选字段

将 avro 有效负载发布到 kafka-rest 服务时,如果 value_schema 中的字段之一使用默认值定义,并且在记录中省略此字段。似乎 kafka-rest 仍然坚持将其记录在案。这样做的正确方法是什么?

例如。

输出

0 投票
1 回答
213 浏览

apache-kafka - 具有 SSL 配置的 Confluent schema-registry 2.0.1 版本

我需要使用融合模式注册表连接到 0.9 kafka。但是对于 schema-registry 2.0.1 版本,我没有看到 SSL 配置可用。有没有办法启用 ssl for schema-registry 和 kafka-rest 与 0.9 kafka 对话?

0 投票
1 回答
1491 浏览

java - Registering AVRO schema with confluent schema registery

Can AVRO schemas be registered with confluent schema registry service ?

As per readme on github https://github.com/confluentinc/schema-registry

Every example uses a JSON schema with a single field and type without any name.

I am trying to store following schema to repository but with different variants getting different error.

Or

0 投票
1 回答
943 浏览

avro - 将 Avro Schema 保存到 Confluent Schema-Registry

我正在尝试使用 Postman 向注册表写入一个非常简单的模式,并且一直很难让它注册。仅仅注册一个简单的模式真的很复杂,这只是整个过程的第一步,还是我在这里遗漏了什么?我使用的架构如下:

我收到以下错误:

0 投票
2 回答
1296 浏览

confluent-platform - 如何在主从模式下运行模式注册表

到目前为止,我正在将模式注册表作为单个节点运行。为了提供容错,我想在主从模式下运行模式注册表。一个节点做主节点,一个节点做从节点。

我们是否需要添加任何额外的属性来将节点标识为主节点?

请任何人分享主从配置(schema-registry.properties)。

任何帮助表示赞赏。

0 投票
3 回答
3004 浏览

docker - Schema Registry 容器:使用 docker-compose 启动时服务器意外死亡

我编写了 docker-compose.yml 文件来创建以下容器:

  • Confluent-动物园管理员
  • Confluent-卡夫卡
  • Confluent-Schema 注册表

我想要一个 docker-compose 文件来启动必要的容器,公开所需的端口并互连依赖的容器。目标是让我使用来自 Docker Hub 的官方融合图像。我的 docker-compose 文件如下所示:

现在,当我运行时docker-compose up,所有这些容器都将被创建并启动。但是 Schema Registry 容器会立即退出。docker logs给出以下输出:

我搜索了这个问题,但没有任何帮助。我尝试了各种其他配置,例如提供 KAFKA_ADVERTISED_HOSTNAME、更改 SCHEMA_REGISTRY_LISTENERS 值等,但没有运气。谁能指出为什么 Schema Registry 容器失败的确切配置问题?

0 投票
1 回答
500 浏览

apache-kafka - 带有架构的 Avro 消息

因此,我们计划使用 Avro 在基于融合的基于 kafka 的生态系统上进行通信。我目前对 Avro 的理解是每条消息都带有它的模式。如果是这种情况,我们需要模式注册表来解决版本更新吗?

我问,因为每条消息都携带模式可以防止需要像模式注册表这样的东西来将消息 id 映射到模式。或者我在这里错过了什么?