6

我正在使用 boost iostreams 读取 gzipped 文件：以下工作正常：

 namespace io = boost::iostreams;
  io::filtering_istream in;
  in.push(boost::iostreams::basic_gzip_decompressor<>());
  in.push(io::file_source("test.gz"));
  stringstream ss;
  copy(in, ss);

但是，我不想将整个 gzip 压缩文件读入内存中。我希望能够以增量方式读取文件。

例如，如果我有一个从 istream 初始化自身的数据结构 X，

X x;
x.read(in);

失败。大概这是因为如果我们正在做部分流，我们可能必须将字符放回流中。任何想法是否提升 iostreams 支持这一点？

4

2 回答 2

1

我认为您需要编写自己的过滤器。例如，要读取 .tar.gz 并输出包含的文件，我写了类似的东西

//using namespace std;
namespace io = boost::iostreams;

struct tar_expander
{
    tar_expander() : out(0), status(header)
    {
    }
    ~tar_expander()
    {
        delete out;
    }

    /* qualify filter */
    typedef char char_type;
    struct category :
        io::input_filter_tag,
        io::multichar_tag
    { };

    template<typename Source>
    void fetch_n(Source& src, std::streamsize n = block_size)
    {
           /* my utility */
           ....
    }

    // Read up to n filtered characters into the buffer s,
    // returning the number of characters read or -1 for EOF.
    // Use src to access the unfiltered character sequence
    template<typename Source>
    std::streamsize read(Source& src, char* s, std::streamsize n)
    {
      fetch_n(src);
      const tar_header &h = cast_buf<tar_header>();
      int r;

      if (status == header)
      {
          ...
      }
      std::ofstream *out;
      size_t fsize, stored;

      static const size_t block_size = 512;
      std::vector<char> buf;

      enum { header, store_file, archive_end } status;
   }
}

我的函数read(Source &...)在调用时会收到解压缩的文本。要使用过滤器：

ifstream file("/home/..../resample-1.8.1.tar.gz", ios_base::in | ios_base::binary);
io::filtering_streambuf<io::input> in;
in.push(tar_expander());
in.push(io::gzip_decompressor());
in.push(file);
io::copy(in, cout);
于 2012-02-28T22:45:13.070 回答
1

根据iostream 文档，该类型boost::io::filtering_istream派生自std::istream. 也就是说，应该可以在任何std::istream&预期的地方传递它。如果您在运行时因为需要unget()或putback()字符而出现错误，您应该查看pback_size指定最多返回多少个字符的参数。我没有在文档中看到这个参数的默认值是什么。

如果这不能解决你的问题，你能描述一下你的问题到底是什么吗？从外观上看应该可以。

于 2012-02-28T22:21:06.553 回答