问题标签 [confluent-schema-registry]

我们需要使用 JDBC 连接器从 RDBMS 读取数据，然后在将数据推送到 Kafka 之前使用我们的自定义加密。并在输出时解密数据，然后将其推送到后续接收器。

为此，我们是否需要提供以下自定义实现（JDBC 连接器属性的一部分）：

或者

我们是否需要提供以下自定义实现（生产者配置属性的一部分）：

如果是key.serializer这样，我们如何设置此属性以便 JDBC 连接器可以选择它？

谢谢，

我正在使用 Kafka 模式注册表来生成/使用 Kafka 消息，例如我有两个字段，它们都是字符串类型，伪模式如下：</p>

但是在发送和消耗一段时间后，我需要修改架构以将第二个字段更改为长类型，然后它抛出了以下异常：

我很困惑，如果架构注册表不能进化架构升级/更改，那我为什么要使用架构注册表，或者说我为什么要使用 Avro？

我正在使用 kafka Confluent 4.0.0 将数据从 SQL Server 提取到 kafka 主题中。

我想使用以下程序从火花流程序中读取存储在 kafka 中的主题数据：

但是当我使用方法 ssc.start() 开始火花流时，我遇到了错误。

我正在以下列方式运行 Zookeeper、Kafka 和 Schema Registry：

我在 Kafka 中手动创建了一个主题，如下所示：

我可以通过以下方式将模式分配给主题：

我无法通过以下方式在模式注册表中找到它的模式：

我已经检查了 2 个类似的问题，但没有帮助。

我的属性：

尝试添加以下内容，但仍然出现相同的错误。

我的主题是从 KSQL 流中填充的。

我正在使用 Spring kafka(1.3.2.RELEASE)、apache avro(1.8.2) 和 io.confluent 的 Schema Registry(3.1.2) 开发 Spring Boot 服务器。因此，即使 kafka 监听器收到一条 kafka 消息，它也会在消息中找到模式 id，并通过 id 从注册服务器获取 avro 模式。问题是，如果方案注册表配置服务器关闭，我的侦听器将在收到消息时继续尝试向注册表服务器发送 http 请求以获取 avro 模式（也会打印大量错误日志），它会阻塞由于偏移量不会继续，所有下一个 kafka 消息。

我曾尝试使用 RetryTemplate 设置最大尝试次数，但没有成功，看来 RetryTemplate 可能仅适用于我的侦听器方法。此外，我在 io confluent 的网站上也没有找到任何有用的配置。

我正在尝试使用 Confluent kafka-avro-console-consumer，但是如何将 Schema Registry 的参数传递给它？

我最近将 Confluent 升级到 4.1，但架构注册表似乎有一些问题。在confluent startschema-registry（因此 ksql-server）上无法启动。

这是我在模式注册表的日志中得到的错误：

我不知道为什么会报告此错误，并且错误消息对我来说没有意义。

失败后，confluent start schema-registry启动confluent start ksql-server两个服务，但是在启动 KSQL 时，我收到以下警告：

尝试运行命令（例如show tables;）时，会报告以下错误：

编辑：我已经通过破坏当前运行来解决这个问题（confluent destroy)但如果有人能解释这个问题会很有趣。

我们正在尝试将 SQL-Server JDBC 连接器与 KafkaAvroSerializer 一起使用，并提供定制的 ProducerInterceptor 以在将数据发送到 Kafka 之前对其进行加密。

在消费者方面，我们希望使用 Flink 连接器进行解密，然后使用适当的解串器。

为了实现这一目标，我们有几个问题：

1）如果我们提供定制的ConsumerInterceptor来解密数据，那么我们在Flink创建DataStream时是否应该通过Properties文件传入？

上面的配置是正确的还是我需要设置任何其他属性以便我可以将 ConsumerInterceptor 传递给 Flink ？

2）另一个问题是关于 Flink 中的 Deserializer。例如，我在网上查找了它，发现了一些代码片段，如下所示：

因此，如果我们使用 JDBC 连接器将数据传递给 Kafka 而不进行任何修改（除了加密数据），那么在反序列化期间我们应该提供什么数据类型？我们将在反序列化之前解密数据。

提前致谢，

是否有任何必须遵循的顺序 - 例如，人应该首先创建一个主题，然后在模式注册表中创建模式，反之亦然？

两个主题可以使用来自 Schema Registry 的相同模式吗？

每个主题都需要有键和值吗？（因此需要为每个主题存在 2 个模式？）

有什么关系和可能的组合？

谢谢。