问题标签 [confluent-platform]

Can AVRO schemas be registered with confluent schema registry service ?

As per readme on github https://github.com/confluentinc/schema-registry

Every example uses a JSON schema with a single field and type without any name.

I am trying to store following schema to repository but with different variants getting different error.

Or

社区，请您帮我理解为什么我的大约 3%的消息没有以HDFS. 我写了一个简单的生产者JAVA来生成 1000 万条消息。

我使用Confluent HDFS Connector独立模式将数据写入HDFS. 配置如下：

连接器将数据写入 HDFS，但在等待 20000 毫秒（由于rotate.interval.ms）后，并未收到所有消息。

知道这种行为的原因是什么吗？我的错误在哪里？我正在使用Confluent 3.0.1/Kafka 10.0.0.1。

我正在使用汇合将数据从kafka导入hive，试图做同样的事情：基于时间的桶记录（kafka-hdfs-connector）

我的接收器配置是这样的：

一切正常，我可以看到数据在 hdfs 中，表是在 hive 中创建的，除非我使用“select * from yang”检查数据是否已经在 hive 中。

它打印错误：

失败：SemanticException 无法确定 hdfs://master:8020/tmp/yangfeiran/peoplet_people_1000 是否已加密：java.lang.IllegalArgumentException：错误的 FS：hdfs://master:8020/tmp/yangfeiran/peoplet_people_1000，预期：hdfs： //nsstargate

如何解决这个问题呢？

飞然

我有一个简单的弹性分析仪领域。我还有一个 Kafka 主题，其中包含相同类型的 AVRO 记录（AKA 字符串/文本）。首先，我在包括此分析器在内的所有字段的弹性上创建一个索引，

指数：

Avro 文件由 kafka-connect (with schema registry) 创建。从包含一个字段 mUrl 的 sqlserver 可以为空 nvarchar(500)

错误：

[test] 的映射器与其他类型中的现有映射冲突：
[mapper [test] 具有不同的 [analyzer]]

如果我使用 Maven 依赖项（SBT 格式）：

我总是会收到警告：

如果我编写调用的代码AbstractKafkaAvroDeserializer::deserializerConfig(Map<String, ?> props)，我会得到一个编译器错误，因为这是重载的AbstractKafkaAvroDeserializer::deserializerConfig(VerifiableProperties props)，即使我没有使用第二个变体，我还是会得到编译错误。

该kafka-avro-serializer项目在“提供”范围内声明了对核心 Kafka 服务器库的 Maven 依赖项：

我可以通过添加 Maven 依赖项（SBT 表示法）来修复编译问题，包括警告和错误：

这似乎是kafka-avro-serializer项目中的一个错误。该项目不应该依赖于 Kafka 服务器代码，即使提供了范围。我正在编写一个独立运行并希望使用 Avro 编码消息的 Kafka Streams 应用程序。即使在提供的范围内，此流应用程序也不应该对 Kafka 服务器代码库有依赖关系。

我是 Confluent 和 Kafka 的初学者。

当我在从节点服务器（分布式模式但只在一台服务器上）使用 Confluent 平台时，Confluent 服务器（只有服务器，kafka 工作正常）时不时宕机。因为我是新手，所以我在创建源和接收器时犯了错误，这与故障有关吗？

这是我的配置：

很好奇，因为 Confluent Platform 是一个设计精良的项目，得到了很多专家的支持，更重要的是它是商业化的。

飞然

我从 Kafka 队列中消费了一些消息，现在我想再次消费它们（只需从头获取所有数据）。如何重置 Scala 中的偏移量或使用Kafka Rest Proxy？我目前正在使用"auto.offset.reset": "smallest"：

请注意我对解决方案不感兴趣

我有一个用户余额更改的用例。我想将所有用户平衡事件放在 1 个主题中。但是由于推荐奖金、获胜奖金、提款、存款等多种事件，用户余额正在发生变化。这可以通过这样的嵌套记录来实现：

但这会使所有嵌套记录都按要求进行，而我想严格执行这些事件中的任何一个都存在于事件中，并严格遵守该事件的记录。Avro 模式支持“oneOf”，但我找不到在任何地方用于 Confluent Schema Registry 用例的 oneOf。有什么方法可以使用它吗？

我在使用 confluent 时遇到问题，我创建了一个以 ID 作为增量列的 jdbc 源，以及一个 HDFS 接收器来将数据写入 Hive。

毕竟，我使用Hive浏览Hive中的数据，我可以看到Oracle中为“int”的ID列在Hive中变成了“binary”，而Oracle中为“date”的时间列是在 Hive 中变成了“时间戳”。

以下是模式寄存器的详细信息：

这是我的 schema-registry.properties：</p>

这是我的 connect-avro-distributed.properties：

这是怎么发生的？我该如何解决这个问题？这是模式注册表配置的问题吗？

此致，

飞然

我是 Confluent 世界的新手，我知道如何从 Confluent 开始 kafka，动物园管理员，但这不是我需要的。

我已经安装了 3 个 kafka 节点和 2 个由 Ambari 安装的 zookeeper。之后我下载了 Confluent 的 3.0.0 版本，现在我想将 Confluent 与已经运行的 Kafka 和 zookeeper 连接起来。我不想实例化 confluent 提供的新 kafka 服务器或 zookeeper 服务器。

有谁知道如何实现这一点，从 Confluent 实际运行什么以及改变什么。

到目前为止，我只在 Confluent 目录中的./etc/kafka 或 ./etc/zookeeper中更改文件。谢谢！