问题标签 [avro]

我正在尝试在 github 上使用 avro-gradle-plugin，但没有任何运气让它工作。有没有人有任何关于他们如何让它工作的示例代码？

我想使用 Apache Avro 来序列化我的数据，我的客户端是用 C++ 编写的，而我的服务器是用 Java 编写的。

1. 我的服务器 java 代码如下所示：

   /li>

2. 我的客户代码：

   /li>

我将它发送theByteData到服务器，代码有效（没有例外），但结果是空的，谁能告诉我出了什么问题？

以及为什么在 Java 中我们通过 key: 获得价值result.get("name")：但在 C++ 中，我们通过 index: 获得价值record.fieldAt(0).value<string>()。如果我无法使用字符串键获取值，如何将索引与字符串键匹配？

我正在使用 MRUnit 0.9.0、Avro 1.7.0 和 Hadoop 0.20.205.0。

我已经配置mapDriver如下：

调用 mapDriver.run() 会出现以下异常：

我也无法在线找到 Avro + MRUnit + Hadoop 的任何示例。如果有人有任何指示，那就太好了。

是否可以在 Hadoop 中将图像转换为 Avro 格式？

我是这个 Apache Avro（序列化框架）的新手。我知道什么是序列化，但为什么会有单独的框架，比如 avro、thrift、protocol buffers 和

1. 为什么我们不能使用 java 序列化 api 而不是这些单独的框架，java 序列化 api 是否有任何缺陷。

2. 在 avro 或任何其他序列化框架中，以下短语“在架构更改时不需要运行代码生成程序”是什么意思。

请帮助我理解所有这些！

我们使用 Apache Avro 作为 Python 应用程序和我们在 Tomcat 服务中运行的一些第三方 Java 库之间的 JSON 接口。我们决定简单地扩展 org.apache.avro.ipc.ResponderServlet 类来实现我们自己的 servlet。servlet 非常简单，因为它在构造函数中实例化了 ResponderServlet 超类，并重写了 init() 和 destroy() 方法来为我们在 servlet 中运行的第三方库做一些内务处理。

然而，当 Tomcat 取消部署我们的 web 应用程序时，我们会看到许多严重错误警告，警告 ThreadLocal 相关的内存泄漏。

我们可能在某处做一些幼稚的事情，因为我们无法在网络上的任何地方为这种情况找到任何帮助。尽管如此，我们希望这里有人能告诉我们哪里出了问题。

这是对我们的 servlet 的一瞥。

我的项目正在与使用 Avro 的其他项目集成。该项目开始使用 HBase，使用一些 HBase Avro API 会很有用，但根据HBASE-6653，avro 网关支持已在 HBase 0.96.0 中删除。是否有可能在开源领域的任何地方找到这个网关？我正在研究 github 和 *.apache.org，但没有发现任何有用的东西。

我很想了解在 Avro 中对两种非常特定类型的数据进行编码的最佳实践：时间戳和 IP 地址。

我遇到了时间戳的开放 JIRA 票（https://issues.apache.org/jira/browse/AVRO-739），但看起来这个话题已经安静了一段时间了。那么 - 在 Avro 中编码时间戳的最佳实践是什么（最好用于 MapReduce、Pig、Hive、流式上下文中的下游使用）。

此外，我很想听听其他人如何将 IP 地址编码到 Avro 中。

我将 Person 记录定义为 Avro IDL ( person.avdl )：

我正在生成 java 文件，所以这个正在生成 PersonProtocol.java 和 Person.java。PersonProtocol.java 是空文件，有没有办法可以排除生成此文件...

考虑到这一点：

http://nedbatchelder.com/blog/201302/war_is_peace.html

有没有办法.load安全地使用方法来获取类实例而不仅仅是字典？

比如说，像 use 一样 .safe_load，验证 object 是否符合犹太教规定，然后 use .load。它会带来一些风险吗？这是可行的、安全的、实用的吗？

顺便说一句，Thrift 或 Avro 等框架是否提供有效的安全功能？这里是否有人在这些项目中工作得足够深入，可以说是否已经解决了安全问题？