问题标签 [jackson-dataformat-avro]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
958 浏览

java - jackson-dataformat-avro 中的错误

这是我的主要课程:

这是我的 Person.java:

错误: 在此处输入图像描述

我的问题:

  1. 目前,我正在编写使用 Jackson 2编写 Avro 编码数据的代码。但我得到了这个错误。我不知道哪个部分出了问题。看起来,像 JSON、YAML、XML 这样的另一种数据格式可以正常工作。
0 投票
1 回答
774 浏览

apache-spark - 由于反序列化错误,具有数据框的 Spark-Sql 上下文无法将文件保存在镶木地板文件中

嗨,我正在阅读 spark 上下文中的 parquet 文件,然后合并各种 parquet 文件的模式。然后我保存从 read parquet 函数返回的数据帧并使用 write.parquet 命令保存。

这里 schemaObj 是 Parquet[StructType] 类型,它是从 AvroSchema 转换而来的

0 投票
2 回答
1603 浏览

avro - 转换为 json 时如何排除 avro 命名空间

最近我正在编写将数据推送到弹性搜索的映射器。我的输入是 avro 对象,我试图将其转换为 Json。一切都很好,但我在 json 中获取命名空间,其中 elasticsearch 不允许命名空间作为关键对象。

有没有办法排除命名空间 - com.nw.data.Request

我正在使用以下代码将 avro 转换为 json:

0 投票
1 回答
10035 浏览

java - 如何正确地将 avro 模式转换为 json 模式

我有以下 json 数据对象:

此对象的 JSON 模式如下所示:

我可以使用这个 JSON 模式来验证我的数据对象是否符合它:

在我的 java 应用程序中,我从 REST API 调用中接收到该对象的相应 AVRO 模式,该模式如下所示:

是否有一种普遍可接受的方式将此类 AVRO 模式转换为 JSON 模式?

0 投票
1 回答
567 浏览

java - 如何在不忽略 !CDATA 内容的情况下将 xml 转换为 avro?

我有以下名为 customers.xml 的源 XML 文件:

我有以下 java 代码,它将customers.xml 解析为单独的“客户”实体,然后尝试将它们中的每一个转换为 AVRO 格式:

此代码总体上有效,但它忽略了包含在

标签。碰巧的是,customers.xml 文件中的大部分实际有用数据都包含在这些标记中。

有没有办法修改此代码,使其不忽略 CDATA 内容?

0 投票
1 回答
2469 浏览

java - 如何使用 Jackson 反序列化 Avro 文件?

Avro 可以将成批的序列化对象存储在单个文件(“对象容器文件”)中。Avro 支持反序列化为 avro 生成的 java 类或 java bean 样式的对象,在我看来这两者都过于严格。我很想为此使用杰克逊,但我还没有找到一种方法来做到这一点。

单个对象的反序列化与 jackson-dataformat-avro 配合得很好。挑战似乎在于结合 avro(用于读取文件和解析元数据)和 jackson-dataformat-avro 来反序列化文件中的每个对象。

有谁知道如何做到这一点?

0 投票
0 回答
1287 浏览

java - 如何将 GenericRecord 转换为与 Avro 中给出的模式相对应的 json 字符串

我有一个要求,我需要在 AWS S3 中以 json 格式存储数据,我们目前正在达到一个提供 List [GenericRecord] 的 enpoint,并且需要以 Json 格式存储,任何人都可以分享一个示例代码来实现这个。我无法将 GenericRecord 反序列化为 Json 字符串,甚至 ObjectMapper writeValueAsString 方法也无法处理它

0 投票
2 回答
1396 浏览

maven - spring-cloud-stream-schema - 1.2.0.RC1 中缺少 AvroSchemaMessageConverter 类

我在 spring-cloud-stream-schema - 1.2.0.RC1 中缺少 AvroSchemaMessageConverter 类。我想通过这个链接Missing schema module for spring-cloud-stream

当我查看pom.xml时,我预计AvroSchemaMessageConverter.java类将在spring-cloud-stream-1.2.0.RC1.jar 中可用。但它不存在,如下图所示:

Eclipse Spring 依赖项

有人可以指出我缺少的依赖项。我对 spring-cloud-stream 的 Maven 依赖项发布到 Kafka 主题。

0 投票
0 回答
538 浏览

apache-kafka - 使用固定值定义 Avro Schema

我正在尝试为我通过 Kafka 传输的一种消息数据定义一个通用的 Avro Schema。一些示例数据可能是这样的:

大致翻译为一种格式

我试图为这种格式提出一个 Avro Schema,但无法找到正确设置“范围”和“大小”属性字段的方法。我可以为每个字段条目编写一个通用模式,例如 (name:name type:string, name:range type:string, name:type type:string, name:size type:int) 但这并不是我真正想要的。有没有办法包装一个模式,以便我可以用它来剪切我的消息中的字段?

0 投票
1 回答
393 浏览

avro - Avro 模式生成 - 对象重新排序

我需要从现有的 Java 模型生成 AVRO 模式。然后我想使用该模式来生成 Java 对象,这样我就可以用生成的模型替换我现有的模型,从而使该模式成为事实的来源。

我遇到了一个问题,我将尝试用这个例子来说明。

我有一个基本的 Java 类:

我想生成一个代表这个类的 avro 模式。

结果是:

生成模式时,对象属性按字母顺序排列。如果我要使用这个模式来生成一个新的 java 模型,构造函数参数的顺序将与源不同。

我的问题是,在生成模式以保留属性顺序而不默认为字母顺序时,是否可以使用任何配置?

谢谢