问题标签 [jackson-dataformat-avro]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - jackson-dataformat-avro 中的错误
这是我的主要课程:
这是我的 Person.java:
错误:
我的问题:
- 目前,我正在编写使用 Jackson 2编写 Avro 编码数据的代码。但我得到了这个错误。我不知道哪个部分出了问题。看起来,像 JSON、YAML、XML 这样的另一种数据格式可以正常工作。
apache-spark - 由于反序列化错误,具有数据框的 Spark-Sql 上下文无法将文件保存在镶木地板文件中
嗨,我正在阅读 spark 上下文中的 parquet 文件,然后合并各种 parquet 文件的模式。然后我保存从 read parquet 函数返回的数据帧并使用 write.parquet 命令保存。
这里 schemaObj 是 Parquet[StructType] 类型,它是从 AvroSchema 转换而来的
avro - 转换为 json 时如何排除 avro 命名空间
最近我正在编写将数据推送到弹性搜索的映射器。我的输入是 avro 对象,我试图将其转换为 Json。一切都很好,但我在 json 中获取命名空间,其中 elasticsearch 不允许命名空间作为关键对象。
有没有办法排除命名空间 - com.nw.data.Request
我正在使用以下代码将 avro 转换为 json:
java - 如何正确地将 avro 模式转换为 json 模式
我有以下 json 数据对象:
此对象的 JSON 模式如下所示:
我可以使用这个 JSON 模式来验证我的数据对象是否符合它:
在我的 java 应用程序中,我从 REST API 调用中接收到该对象的相应 AVRO 模式,该模式如下所示:
是否有一种普遍可接受的方式将此类 AVRO 模式转换为 JSON 模式?
java - 如何在不忽略 !CDATA 内容的情况下将 xml 转换为 avro?
我有以下名为 customers.xml 的源 XML 文件:
我有以下 java 代码,它将customers.xml 解析为单独的“客户”实体,然后尝试将它们中的每一个转换为 AVRO 格式:
此代码总体上有效,但它忽略了包含在
标签。碰巧的是,customers.xml 文件中的大部分实际有用数据都包含在这些标记中。
有没有办法修改此代码,使其不忽略 CDATA 内容?
java - 如何使用 Jackson 反序列化 Avro 文件?
Avro 可以将成批的序列化对象存储在单个文件(“对象容器文件”)中。Avro 支持反序列化为 avro 生成的 java 类或 java bean 样式的对象,在我看来这两者都过于严格。我很想为此使用杰克逊,但我还没有找到一种方法来做到这一点。
单个对象的反序列化与 jackson-dataformat-avro 配合得很好。挑战似乎在于结合 avro(用于读取文件和解析元数据)和 jackson-dataformat-avro 来反序列化文件中的每个对象。
有谁知道如何做到这一点?
java - 如何将 GenericRecord 转换为与 Avro 中给出的模式相对应的 json 字符串
我有一个要求,我需要在 AWS S3 中以 json 格式存储数据,我们目前正在达到一个提供 List [GenericRecord] 的 enpoint,并且需要以 Json 格式存储,任何人都可以分享一个示例代码来实现这个。我无法将 GenericRecord 反序列化为 Json 字符串,甚至 ObjectMapper writeValueAsString 方法也无法处理它
maven - spring-cloud-stream-schema - 1.2.0.RC1 中缺少 AvroSchemaMessageConverter 类
我在 spring-cloud-stream-schema - 1.2.0.RC1 中缺少 AvroSchemaMessageConverter 类。我想通过这个链接Missing schema module for spring-cloud-stream。
当我查看pom.xml时,我预计AvroSchemaMessageConverter.java类将在spring-cloud-stream-1.2.0.RC1.jar 中可用。但它不存在,如下图所示:
有人可以指出我缺少的依赖项。我对 spring-cloud-stream 的 Maven 依赖项发布到 Kafka 主题。
apache-kafka - 使用固定值定义 Avro Schema
我正在尝试为我通过 Kafka 传输的一种消息数据定义一个通用的 Avro Schema。一些示例数据可能是这样的:
大致翻译为一种格式
我试图为这种格式提出一个 Avro Schema,但无法找到正确设置“范围”和“大小”属性字段的方法。我可以为每个字段条目编写一个通用模式,例如 (name:name type:string, name:range type:string, name:type type:string, name:size type:int) 但这并不是我真正想要的。有没有办法包装一个模式,以便我可以用它来剪切我的消息中的字段?
avro - Avro 模式生成 - 对象重新排序
我需要从现有的 Java 模型生成 AVRO 模式。然后我想使用该模式来生成 Java 对象,这样我就可以用生成的模型替换我现有的模型,从而使该模式成为事实的来源。
我遇到了一个问题,我将尝试用这个例子来说明。
我有一个基本的 Java 类:
我想生成一个代表这个类的 avro 模式。
结果是:
生成模式时,对象属性按字母顺序排列。如果我要使用这个模式来生成一个新的 java 模型,构造函数参数的顺序将与源不同。
我的问题是,在生成模式以保留属性顺序而不默认为字母顺序时,是否可以使用任何配置?
谢谢