问题标签 [avro4s]

我正在尝试使用 Avro 将数据发送到 Kafka，但“消息”仍然为空。我尝试手动将模式添加到 Kafka，但没有结果。我在应用程序的日志、模式注册表日志或 Kafka 的日志中看不到任何错误。你能告诉我我做错了什么吗？

Encoder[E]是否可以为任何子类型E（例如，在is的代码实例中E扩展GeneratedEnum类的任何子类型）定义和传递到where是包含as 字段的某个案例类。EColorAvroSchema[C]CE

完整的源代码在这里

基本上希望 like 的任何子类型实例都GeneratedEnum编码Color为String.

我正在尝试根据类路径在反射中生成 Avro4s 的 RecordFormat。以下代码引发错误。

找不到 com.sksamuel.avro4s.Decoder [mypackage.MyCaseClass] 类型的证据参数的隐式值

RecordFormat 就像

参考：https ://github.com/sksamuel/avro4s/blob/release/2.0.x/avro4s-core/src/main/scala/com/sksamuel/avro4s/RecordFormat.scala

我可以看到，它可以解决Encoder[MyCaseClass]，SchemaFor[MyCaseClass]但失败了Decoder[MyCaseClass]。

RecordFormat[MyCaseClass]相同的代码无需反射即可解析。

我可以看到它Decoder是用类似于Encoder.

为什么反思不能解决隐含的证据？

我是 Scala 的新手。

我有一个要求，我的数据（在案例类中）需要以 avro OCF（包括模式）格式写入 S3 存储桶。我可以看到在 scala 中生成/序列化 avro 非 ocf（无模式）格式数据的方法，但找不到生成 OCF 格式的方法。

此链接示例显示如何生成非 OCF 格式，但我正在寻找 OCF 格式生成 https://dzone.com/articles/kafka-avro-scala-example

任何帮助/建议将不胜感激。

我正在尝试在我的 flink 流作业中反序列化 kafka 事件。这是我的代码：

并且在运行时抛出此异常的作业：

我读到我不应该使用Kryo，但我不知道该怎么做。我试过了：

但这无济于事。

我注意到 confluent 有一个 kafka 序列化程序，它可以让我从我的 kafka 主题中序列化和反序列化我的案例类，它会从注册表中提取模式。

如果是这种情况，使用 avro4s 会有什么好处？

当我提供架构时，我有一个由 avro 自动创建的类“Engagements.java”。

我像这样创建了上述类的变量

我想设置engagement变量的属性。但是变量中的一个字段（startDate）engagement是“记录”类型（见下文）。

如何设置此记录类型字段的值？

例如：我可以通过执行engagement.setTotalEngagementLines(0) 来设置整数“TotalEngagementLines”

我使用 presto 在 hive 中创建了 Avro 表。使用以下查询

我可以在 presto 表中看到已成功创建。但是当我尝试查询/查看表格内容时，它给了我以下错误：

我在博客中发现一个用户提到我们不能通过将 avro 模式作为外部文件来创建表，但是如果我们在表定义中提供 avro 模式，它将工作博客链接。但是我发现我不能使用avro.schema.literal根据这个 git repo hive 表属性，我唯一可用的选项是avro_schema_url并且这个属性只接受位置。

在这方面的任何帮助。

请帮助我了解 IETF 标准 JSON 模式和 Avro 模式之间的区别。我用谷歌搜索了很多，但找不到任何具体的东西。