我正在将Apache Avro用于一个项目，但我似乎无法理解它所说的maps。我找不到任何正在使用的地图示例，并且规范上的示例非常简单：

地图

地图使用类型名称"map"并支持一个属性：

• values:地图值的架构。

映射键被假定为字符串。

例如，从 string 到 long 的映射声明为：

{"type": "map", "values": "long"}

适合该模式的数据可能看起来像 JSON 吗？地图有什么用处，而记录并没有做得更好？

我对 Hadoop 很陌生，必须深入研究它的序列化。我知道 Hadoop 带有自己的称为 Writables 的序列化程序。我很想知道 Avro（或 protobuf，thrift）是否取代了 Writables 接口，或者 Avro 仅用于序列化 MR 客户端数据，而不是用于序列化 namenode 和 datanode 之间的内部通信。

我是 Hadoop 世界的新手。我知道 Hadoop 有自己的序列化机制，称为 Writables。AVRO 是另一个这样的库。我想知道我们是否可以使用 Google 的协议缓冲区序列化来编写 map-reduce 作业？如果是的话，那么有人可以指出一个很好的例子来让我开始。

我一直在尝试在 oozie 上运行 Avro map-reduce。我在 workflow.xml 中指定了 mapper 和 reducer 类，并提供了其他配置。但它给出了一个

直接在 hadoop 集群（而不是通过 oozie）上运行时，相同的作业会完成并提供所需的输出。因此，我似乎可能缺少一些 oozie 配置。我从异常中猜想的是，oozie 要求映射器是一个子类，org.apache.hadoop.mapred.Mapper但 Avro 映射器具有不同的签名——它们扩展了 org.apache.avro.mapred.AvroMapper，这可能是错误的原因。

所以我的问题是如何配置 oozie 工作流/属性文件以允许它运行 Avro map-reduce 作业。

我正在尝试找出在 http 请求中发送 avro 对象的最佳方式。我正在考虑通过python执行此操作。我对如何实现这一点有点困惑。我会创建一个数据属性等于 avro 文件所在位置的 POST 请求吗？有没有办法即时创建一大堆 avro 对象，而不是将它们存储在物理位置，而是将它们流式传输到 POST 请求中？我不确定如何通过网络将字节数组发送到服务器。深入了解这个过程的基本原理将会很棒。

谢谢

为什么 Apache Avro 使用 JSON 来定义模式？为什么不直接使用 IDL 来定义模式呢？IDL 转 JSON 有什么好处？

我正在尝试简单读取存储在 HDFS 中的 Avro 文件。我发现了如何在本地文件系统上读取它....

但是，我的文件在 HDFS 中。我不能给 openReader 一个 Path 或一个 FSDataInputStream。如何在 HDFS 中简单地读取 Avro 文件？

编辑：我通过创建一个实现 SeekableInput 的自定义类（SeekableHadoopInput）来实现这一点。我从 github 上的“Ganglion”“偷”了这个。尽管如此，似乎会有一个 Hadoop/Avro 集成路径。

谢谢

我正在尝试让 Python 解析 Avro 模式，例如以下...

...我得到以下异常：

我究竟做错了什么？

我有一个现有的 Avro RPC 客户端，可以将数据发送到 Avro RPC 服务器。Avro RPC 服务器当前将数据写入 HDFS（并且还执行其他操作）。我们正在将我们的服务器进程更改为基于 Storm。我希望找到一种简单的方法将我的数据导入 Storm，希望使用我现在拥有的 Avro RPC 消息。

我一直在寻找一种方法来做到这一点，到目前为止没有成功。Storm 有一个 RPC 模型，但它似乎仅限于传递字符串，这是我想避免的（为什么我首先去了 Avro）。Zeromq 可能是一种可能性，但对于我想要做的事情似乎有限。

有人可以为我建议一种优雅的方式来让我的 Avro RPC（基于模式的数据）进入 Storm 吗？

谢谢！！！！

Avro 序列化在 Hadoop 用户中很受欢迎，但很难找到示例。

谁能帮我这个示例代码？我最感兴趣的是使用 Reflect API 读取/写入文件以及使用 Union 和 Null 注释。