0

我有一个 GUI 应用程序，它使用点云数据和它背后的四叉树数据结构来处理数据。由于我使用的点格式最近发生了变化，我不得不修改我的点类以保存新属性，这导致点对象的大小显着增长，实际上降低了四叉树的性能。其中一些属性对于显示和处理数据是不需要的，但它们仍然需要保留在输出中。这大致是我的点课目前的样子：

class Point {
public:
    /* ... */
private:
    /* Used data members */
    double x;
    double y;
    double z;
    double time;
    int attr1;
    int attr2;

    /* Unused data members */
    int atr3;
    double atr4;
    float atr5;
    float atr6;
    float atr7;
}

当从文件中加载数据时，Points 存储在 Point* 数组中，然后由四叉树处理。同样，当它们被保存时，从四叉树传递一个点数组并保存到文件中。请注意，我在四叉树中使用的 Point 对象与存储在文件中的对象不同，但我使用的库提供了用于创建点的读取器和写入器对象。这是一个例子：

int PointLoader::load(int n, Point* points) {

    Point temp;
    int pointCounter = 0;

    /* reader object is provided by the library and declared elsewhere */        
    while (pointCounter < n && reader->read_point()) {
        temp = Point(reader->get_x(), reader->get_y(), reader->get_z(), /* ... */ )

        points[pointCounter] = temp;
        ++pointCounter;        
    }
    return pointCounter;
}

现在，我的想法是减小 Point 类的大小，并将未使用的属性存储在硬盘上另一个名为 PointData 的类（或结构）中。这是必要的，因为数据通常不适合内存，并且有一个缓存系统，这将再次受益于较小的点对象。所以给出这个例子，它看起来像这样：

int PointLoader::load(int n, Point* points) {

    Point temp;
    PointData tempData;
    int pointCounter = 0;    

    while (pointCounter < n && reader->read_point()) {
        temp = Point(reader->get_x(), reader->get_y(), reader->get_z(), /* ... */ )
        pointData = (reader->get_attr3(), reader->get_attr4(), /* ... */)

        temp.dataHandle = /* some kind of handle to the data object */
        points[pointCounter] = temp;

        /* Save pointData to file to retrieve when saving points */

        ++pointCounter;        
    }
    return pointCounter;
}

然后，当我保存修改的点时，我只需使用 dataHandle（文件偏移量？内存映射数组中的索引？）来检索每个点的 pointData 并将其写回文件。

这听起来是个好主意吗？实现这一目标的最明智的方法是什么？

4

1 回答 1

1

我建议您使用映射文件来存储附加数据。如果存在内存压力，这将自动导致它们被刷新到磁盘并从 RAM 中删除，但如果有足够的内存，它们将大部分时间留在 RAM 中。

在您的Point课程中，在文件中存储偏移量比将直接指针存储到映射的内存区域更好，因为如果您必须重新映射文​​件以增长它，偏移量仍然是正确的（您必须使用例如lseek()自己来增长文件，如您只能映射文件的大小）。

这种机制编写代码非常方便，但您必须有足够的地址空间来映射整个文件 - 在 64 位应用程序中没有问题，但如果您是 32 位应用程序并且需要超过几百 MB，则可能会出现问题文件中的数据。您当然可以映射和取消映射多个文件，但它需要更多的编码工作并且性能较低（映射和取消映射文件有一些成本）。

于 2012-03-22T13:13:39.790 回答