0

我有非常大的文件，其中包含数据包。文件本身只是一个非常大的字符串，并且包用字符串“PACK1.0”分隔。

假设“XXX”是数据，一个包看起来像这样：

PACK1.0XXXXXXXXXXXXXXXXXPACK1.0XXXXXXXXXXXXXXPACK1.0XXXXXXXXXX

我正在创建一个哈希映射，其中包含包的数量以及它开始的字节。

例子：

PACKAGE NR | BYTE WHERE IT BEGINS IN THE STREAM
0 | 0
1 | 128
2 | 256
. | .
. | .

如果我想要包号 5340，我在哈希图中查看包开始的字节，从理论上转到带有 stream.seekg(POSITION) 的字节并解析包。

我的最后一个问题是：我想通过带有播放和暂停选项的滑块浏览文件。我的想法是滑块有一个 min=0 和 max=packagecount 范围。

这是遍历文件的好方法吗？

这会导致什么问题？有什么更好的方法来做到这一点？

这是我用于存储哈希图的代码（此代码假定包长 128 字节）：

 std::map<int, int> THEMAP;

    thefile.seekg(0,std::ios::end);
    dataLength=thefile.tellg();
    thefile.seekg(0,std::ios::beg);

    while(position<dataLength)
    {
    thefile.seekg(0,position);
    position=position+128;
    packagecount++;
    THEMAP.insert(std::make_pair(packagecount,position));
    }
4

1 回答 1

0

这通常是内存映射 io (MMIO) 的情况。如果您只是 Windows，则使用MapViewOfFile和该系列中的其他功能。对于跨平台使用，我推荐 glib 的文件映射函数。MMIO 所做的是将文件的一部分（或整个文件）映射到进程的内存空间，以便您可以通过简单的指针访问它。您可以任意确定文件的哪个部分以及文件的哪个大小被映射。

一个可能的策略是，在启动时，将文件的固定块循环映射到内存中，逐块）并在每个块中搜索第一个包标识符。这是相对较快的，并为您提供了第一组标记。下次访问时，您可以使用此初始设置来查找文件的正确部分，映射此部分并仅扫描此部分。当然，您会存储任何出现的标记。

稍后，当您滚动浏览文件时，您只需映射页面（这次可能会更小，具体取决于您在某个时间点需要多少数据）并显示所需的数据。显然，封装标记的地址可以同时作为内存映射的起始地址。

好的副作用是它与包的大小完全无关，您可以映射任何大小的文件，甚至是千兆字节大小的文件。通过在文件上使用小视图，应用程序的内存需求可能非常小。

于 2013-05-07T12:03:18.137 回答