protocol-buffers - protobuf 和箭头的比较

Question

两者都是语言中立和平台中立的数据交换库。我想知道它们有什么区别，哪个库适合哪种情况。

Answer 1

它们旨在解决两个不同的问题。Protobuf 旨在为数据创建通用的“在线”或“磁盘”格式。

Arrow 旨在为数据创建一种通用的“内存中”格式。

当然，下一个问题，这是什么意思？

在 Protobuf 中，如果应用程序想要处理数据，他们首先将数据反序列化为某种“内存中”表示。必须这样做，因为 Protobuf 格式不容易与 CPU 指令兼容。例如，protobuf 将无符号整数打包成 varint。它们有一个可变的字节数，并且该字段的线型被塞进了 3 个最低有效位。您不能在不先将它们转换为某种“内存中”表示的情况下将两个无符号整数相加。

现在，protoc确实有每种语言的库可以转换为这些语言的“内存中”表示。但是，这种“内存中”的表示并不常见。您不能获取 Protobuf 消息，将其反序列化为 C#（使用protoc生成的代码），然后在 Java 中处理这些内存字节，而无需对数据进行某种 C#->Java 编组。

另一方面，Arrow 解决了这个问题。如果您在 C# 中有一个箭头表，您可以将该内存映射到不同的语言并开始对其进行处理，而无需对数据进行任何类型的“语言到语言”封送处理。这种零拷贝允许在语言之间进行有效的切换。Python 已经使用这样的技巧（例如数组协议）有一段时间了，它非常适合数据分析。

然而，Arrow 并不总是无线传输的最佳格式，因为它可能效率低下。我之前提到的那些变体有助于 Protobuf 减少消息大小。此外，Protobuf 标记每个字段，以便在有许多可选字段时可以节省空间。事实上，Arrow 使用 Protobuf 和 gRPC 在 Arrow Flight（一个 RPC 框架）中进行元数据的在线传输。