3

我们使用 protobuf v.3 通过 HTTP 将消息从 C# 客户端传输到 Java 服务器。

消息原型如下所示：

message CLIENT_MESSAGE {
    string message = 1;
}

客户端和服务器都对字符串使用 UTF-8 字符编码。

当我们使用像“abc”这样的短字符串值时一切都很好，但是当我们尝试传输包含 198 个字符的字符串时，我们会发现一个异常：

   com.google.protobuf.InvalidProtocolBufferException: 
    While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own length.

我们尝试比较包含 protobuf 数据的偶数字节数组，但没有找到解决方案。对于“aaa”字符串字节数组以这个字节开头：

10 3 97 97 97

其中 10 是 protobuf 字段编号，3 是字符串长度，69 65 67 是“aaa”。

对于字符串

“啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊”

其中包含 198 个字符，字节数组以此开头：

10 198 1 97 97 97....

其中 10 是 protobuf 字段号，198 是字符串长度，1 似乎是字符串标识符，还是什么？

以及为什么 protobuf 无法解析此消息？

已经花了将近一天的时间来寻找这个问题的解决方案，任何帮助表示赞赏。

更新：

我们从客户端和服务器都进行了转储，但奇怪的是 - 转储是不同的！

在发送到服务器之前，从客户端转储 Protobuf：

00000000   0A C6 01 61 61 61 61 61  61 61 61 61 61 61 61 61   ·Æ·aaaaaaaaaaaaa
00000010   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000020   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000030   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000040   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000050   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000060   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000070   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000080   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00000090   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
000000A0   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
000000B0   61 61 61 61 61 61 61 61  61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
000000C0   61 61 61 61 61 61 61 61  61                        aaaaaaaaa

服务器接收的 Protobuf 转储：

0000: 0A EF BF BD 01 61 61 61 61 61 61 61 61 61 61 61   .....aaaaaaaaaaa
0010: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0020: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0030: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0040: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0050: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0060: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0070: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0080: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
0090: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00A0: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00B0: 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61   aaaaaaaaaaaaaaaa
00C0: 61 61 61 61 61 61 61 61 61 61 61                   aaaaaaaaaaa

正如你所看到的，protobuf 数据头是不同的......这完全打破了我的想法，怎么会发生这种情况？

UPDATE2：我们进行了一项研究，发现此问题仅发生在长度超过 128 个符号的字符串中。如果字符串由 128 个或更少的符号组成 - 没有问题。

4

2 回答 2

5

好吧，最后问题出在字符编码上——我们试图将二进制 protobuf 数据转换为字符串。

如果您需要将二进制 protobuf 数据作为字符串传输 - 首先在客户端将其编码为 base64，然后在服务器上从 base 64 解码。

感谢@Marc Gravell 的帮助

于 2018-05-17T11:56:03.893 回答
2

其中 10 是 protobuf 字段编号，

是的; 字段 1，以长度为前缀。

而 198 是字符串长度，而 1 似乎是字符串标识符，还是什么？

是198 1字符串长度，用“varint”编码编码；这计算为整数 198，但需要两个字节进行编码。

以及为什么 protobuf 无法解析此消息？

我们需要查看其余的字节；如果您没有所有字节，该库可能非常正确。您是否拥有失败案例的所有字节，可能是十六进制或base-64？

于 2018-05-17T10:02:10.830 回答