问题标签 [confluent-schema-registry]

我不知道密钥架构的确切概念，它是什么，以及为什么必须将其用作密钥是自动生成的，我们只是传递一个值（消息）。

对于值，我们将一个模式传递给 AVRO 序列化器，序列化器从模式注册表中获取它的模式 ID，并将模式 ID 与我们传递的值（消息）嵌入（如果我错了，请纠正我）。钥匙会发生什么？

我们还需要传递一个密钥模式吗？传递关键模式的重要性是什么？而且，如何传递一个关键模式？

我参考了以下链接以了解 HDFS Connect for Kafka https://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html
我能够通过配置单元集成将数据从 kafka 导出到 HDFS。
现在我正在尝试借助 Java 程序将 avro 记录写入 kafka

在模式注册表中注册的模式名称为 StreamExample_1

以下是我的 hdfs 属性文件

当我将 Avro 记录写入 Kafka 主题时，我在 Connect 中收到以下错误

我正在尝试使用模式注册表和 Avro 为 MongoDB 编写自定义 Source 和 Sink Kafka 连接器。我已将键和值转换器配置为 AvroConverter 和属性中的模式注册表 url。我必须在连接器中添加什么代码才能将数据转换为 Avro 并根据架构进行验证？

我正在kafka-avro-console-consumer按照快速入门教程中的说明运行 Confluent ：

但是，我创建了一个单独的用户kafka来运行此命令。我收到错误消息

我宁愿不授予kafka对整个/usr/bin目录的写访问权限。卡夫卡究竟在哪里试图创建logs目录？

我在 Kubernetes 集群的容器中运行了 confluent kafka、zookeeper、schema-registry 和 ksql。Kafka、zookeeper 和模式注册表工作正常，可以创建主题并以 Avro 格式写入数据，但是当我尝试检查 ksql 并使用 curl 创建一些流时，例如：

我得到错误：

请在下面找到我的 ksql 服务器配置：

我也尝试在没有 schema.registry 字符串的情况下启动服务器，但没有运气

我使用 REST API 为给定主题添加了主题键和主题值模式。在我的自定义连接器中，我是否需要使用 SchemaBuilder 再次创建架构？如何访问连接器内的已注册架构？

我正在研究 Kafka，作为初学者，我突然想到了以下问题。

每次我们为 Avro 设计模式时，我们都会通过它的 jars 从中创建 Java 对象。

现在我们使用该对象来填充数据并从 Producer 发送数据。

为了消费消息，我们在 Consumer 中再次生成 Object。现在，Producer 和 Consumer 在这两个地方生成的对象都包含一个字段
“public static final org.apache.avro.Schema SCHEMA$”，它实际上将模式存储为字符串。

如果是这种情况，那么为什么 kafka 应该使用模式注册表呢？该模式已作为 Avro 对象的一部分提供。

希望我的问题很清楚。如果有人可以回答我，那将有很大帮助。

我们最近开始使用 Confluent Kafka-JDBC 连接器来导入 RDBMS 数据。

作为默认配置设置的一部分，似乎为架构中的每个表创建了一个主题。

我想知道有没有办法

1. 每个模式而不是每个表创建主题。如果启用了每个模式的主题，那么可以在表的基础上支持模式演变（使用模式注册表）吗？

2. 如果每个模式的主题是不可能的，那么是否有关于如何管理数百或数千个主题的指南？考虑到表格数量与主题数量之间会有一对一的映射？

提前致谢，

我下载了 Confluent Platform（在本地笔记本电脑 MacOS 上）并按照说明启动 kafka： https ://docs.confluent.io/current/schema-registry/docs/intro.html

通过查看上面的 Schema-registry 似乎已启动并正在运行。如何检查是否真的在运行？

我不太明白如何注册模式以在 jdbc 源或接收器连接器中使用它并在 Spark 中读取数据

这是我想用来从 MS SQL 数据库中检索记录的 avro 模式

我想将此模式用于此源连接器

这是我正在使用的 Spark Consumer