问题标签 [avro]

我正在编写我的第一个 Avro 模式，它使用 JSON 作为模式语言。我知道您不能将评论放入纯 JSON，但我想知道 Avro 工具是否允许评论。例如，也许它会在解析 JSON 之前剥离它们（如预处理器）。

编辑：我正在使用 C++ Avro 工具链

我正在使用 Python Avro 实现。我用 3 个可能的实例声明了现场人员- 空、男人和女人：

然后我假设它是一个男人写记录：

结果是可以预见的：

然后我将 NULL 添加到男人的“gym”字段和女人的“beautySalon”字段：

运行相同的代码并获得：

糟糕，有了可为空的字段，我们的男人变成了女人。伤心。

有人知道如何解决吗？

我的 avro 文件中有许多记录，但我想读取特定记录，阅读器只有一个遍历整个文件的接口，我想直接跳转到特定记录。有没有办法做到这一点？

有没有办法将目录中的一些 XML 文件转换为 AVRO 文件？

因此，将读取 XML 文件中的数据，并在一端制作和序列化相应的类似 AVRO 文件……并在另一端反序列化以获取数据。

是否有一些解析器或可以提供帮助的东西

I must read Avro record serialized in avro files in HDFS. To do that, I use the AvroKeyInputFormat, so my mapper is able to work with the read records as keys.

My question is, how can I control the split size? With the text input format it consists on define the size in bytes. Here I need to define how many records every split will consist of.

I would like to manage every file in my input directory like a one big file. Have I to use CombineFileInputFormat? Is it possible to use it with Avro?

在这个 avro 模式中

当我尝试为多个记录分配多个值时...

它总是为架构中的 NAME 字段分配 Null ...除了我放置的第一条记录...有没有办法可以将默认值用作 STRING ...如果没有字符串，则仅使用提到的 null在架构中

如上所述，联合使用 JSON 数组表示。例如，["string", "null"] 声明一个模式，它可以是字符串或 null。

联合不能包含多个具有相同类型的模式，命名类型记录、固定和枚举除外。例如，不允许包含两种数组类型或两种映射类型的联合，但允许使用不同名称的两种类型。（在读取和写入联合时，名称允许有效的解析。）

所以它总是取 NULL 即使除了第一条记录之外存在字符串值

在 MapReduce 作业中使用 Avro 时，我看到了一种安静的奇怪行为。事实上，使用的 Iterable 非常奇怪：iterator.next 不指向对象，而是指向在每次调用函数“next”时改变其值的东西！

例子 ：

标准输出说：

FOO：酒吧

酒吧：酒吧

这里的 Iterable 是如何编码的？为什么？或者也许我做错了什么？

我有一个复杂的 Avro 记录（嵌套记录、联合类型），我将其作为值存储在 HBase 中。我使用当前与文件的编写器模式和 HBase 中的记录匹配的模式读取 Avro 数据文件：

然后我检查 HBase 以查看是否已经存在具有相同 rowkey 的记录。我的 get 返回的 val 是 Avro 记录的字节数组表示：

如果 HBase 中没有具有相同 rowkey 的记录，我将记录放入：

如果 HBase 中有一条记录具有相同的行键，我想将 HBase 结果的字节数组转换回 Avro 模式，然后比较几个字段以查看哪个记录“更好”。我想将“更好”的记录放入 HBase，但我被卡住了。如何将字节数组从 HBase 转换为 GenericRecord，以便比较文件记录和 HBase 之间的字段？

我在 Mac OSX 中工作。我在尝试运行在 hadoop 集群上使用 Avro 文件的 hadoop 作业时遇到以下异常。我使用 Java 1.6，我使用的 Snappy 版本是 1.0.4.1，这不是最后一个，但我无法更改它，因为其他部分可能会发生其他问题。

堆栈跟踪如下：

我有以 protobuff 格式序列化的数据，我想将其转换为 Avro 序列化。

我使用读取原始数据没有问题

结果o又是一个 protobuf 对象。现在我想用相同的模式把o写成 avro

但是运行上面的代码会在write方法处引发下一个异常

如何将 proto 对象转换为 avro 对象？

问候，罗南。