2

我正在为我的硕士论文编写一个工具，它需要从文件中读取 protobuf 数据流。到目前为止，我只在 Mac OS 上工作，一切都很好，但现在我也在尝试在 Windows 上运行该工具。

遗憾的是，在 Windows 上，我无法从单个流中读取多个连续消息。我试图缩小问题范围，并开始关注重现问题的小程序。

#include "tokens.pb.h"
#include <google/protobuf/io/coded_stream.h>
#include <google/protobuf/io/zero_copy_stream_impl.h>
#include <fstream>

int main(int argc, char* argv[])
{
  std::fstream tokenFile(argv[1], std::ios_base::in);
  if(!tokenFile.is_open())
    return -1;
  google::protobuf::io::IstreamInputStream iis(&tokenFile);
  google::protobuf::io::CodedInputStream cis(&iis);

  while(true){
    google::protobuf::io::CodedInputStream::Limit l;
    unsigned int msgSize;
    if(!cis.ReadVarint32(&msgSize))
      return 0; // probably reached eof
    l = cis.PushLimit(msgSize);

    tokenio::Union msg;
    if(!msg.ParseFromCodedStream(&cis))
      return -2; // couldn't read msg

    if(cis.BytesUntilLimit() > 0)
      return -3; // msg was not read completely

    cis.PopLimit(l);

    if(!msg.has_string() &&
       !msg.has_file() &&
       !msg.has_token() &&
       !msg.has_type())
      return -4; // msg contains no data
  }
  return 0;
}

在 Mac OS 上，它运行良好，并在读取整个文件后返回 0，如我所料。

在 Windows 上，读取第一条消息没有问题。对于第二条消息，ParseFromCodedInputStream仍然返回 true，但不读取任何数据。这会产生一个BytesUntilLimit大于 0 的值和 -3 的返回值。当然，该消息也不包含任何可用数据。任何进一步的读取cis也将失败，就像到达流的末尾一样，即使文件尚未完全读取。

我还尝试使用FileInputStream带有文件描述符的输入来获得相同的结果。使用具有显式消息大小的调用删除Push/PopLimit和读取数据ReadString，然后从该字符串中解析也没有帮助。

使用了以下 protobuf 文件。

package tokenio;

message TokenType {
    required uint32 id   = 1;
    required string name = 2;
}

message StringInstance {
    required string value = 1;
    optional uint64 id    = 2;
}

message BeginOfFile {
    required uint64 name = 1;
    optional uint64 type = 2;
}

message Token {
    required uint32 type   = 1;
    required uint32 offset = 2;
    optional uint32 line   = 3;
    optional uint32 column = 4;
    optional uint64 value  = 5;
}

message Union {
    optional TokenType      type   = 1;
    optional StringInstance string = 2;
    optional BeginOfFile    file   = 3;
    optional Token          token  = 4;
}

这是一个示例输入文件。

输入文件似乎没问题。至少它可以被 protobuf 编辑器（在 Windows 和 Mac OS 上）以及 Mac OS 上的 c++ 实现所读取。

代码经过测试：

  • 在 Mac OS 10.8.4 上工作，使用 Xcode 4.6.3 和 protobuf 2.5.0 编译
  • 由于不适用于 Windows 8 64 位，使用 Visual Studio 2012 Ultimate 和 protobuf 2.5.0 编译

我究竟做错了什么？

4

1 回答 1

2

让它std::fstream tokenFile(argv[1], std::ios_base::in | std::ios_base::binary);。默认为文本模式；在 Mac 和其他类 Unix 系统上这无关紧要，但在文本模式下的 Windows 上，您会将 CRLF 序列转换为 LF，并且将 ^Z（又名 '\x1A'）字符视为文件结束指示符。这些字符可能碰巧出现在二进制流中，并引起麻烦。

于 2013-08-08T22:36:49.053 回答