1

我必须计算一个巨大的 nxn 矩阵（n > 100000）并以某种方式将其存储在内存中以供进一步使用。单个元素的计算非常昂贵（大约 1000 次触发器和内存访问），因此我无法即时计算它。但是我只需要计算一次，以后不需要修改。我也不能假设我在系统上有足够的交换空间。这就是为什么我决定创建一个缓存文件并使用 mmap 将其映射到内存：

int createCacheFile(std::size_t filesize, std::string const& filename){
    //create empty file
    int fileDescriptor = open(filename.c_str(), O_RDWR | O_CREAT | O_TRUNC, (mode_t)0600);
    //stretch to desired size
    lseek(fileDescriptor, filesize-1, SEEK_SET);
    return fileDescriptor;
}

//...
std::size_t n = 100000;
std::size_t fileSize = n*n*sizeof(float);
int fileDescriptor = createCacheFile(filesize,"matrix.cache");
float* memory = (float*) mmap(0, filesize, PROT_READ | PROT_WRITE, MAP_SHARED, fileDescriptor, 0);

//and now fill it...

我想比较性能并尝试了一个小的 n=10000 并将 malloc、mmap 与 MAP_ANONYMOUS 以及上述实现进行了比较。对于这个 n，矩阵完全适合 RAM。虽然 malloc 和 MAP_ANONYMOUS 给出了非常相似的结果，但当我的矩阵由文件支持时，我会得到大约 10 倍的惩罚。似乎程序会定期被内核停止，以便它可以安全地将内容写入文件。我试图在我已经计算过的矩阵部分上使用 msync 和 mprotect 来解决这个问题，以向内核提示它可以编写这些部分而无需停止程序但没有任何帮助。

有没有办法来解决这个问题？

4

1 回答 1

0

您还可以使用madvise(2)系统调用来通知内核有关不太有用的页面（可能带有MADV_SEQUENTIAL或MADV_DONTNEED...）。也许posix_fadvise(2)系统调用可能对文件段有帮助。最终readahead(2)（在另一个线程中，因为它是阻塞的）也可能有帮助。

该文件可能位于一个快速的文件系统中，也许是tmpfs一个....

也许在快速磁盘 (SSD) 上进行交换也可能有用。swapon(2)系统调用（和swapon命令）。

于 2013-10-14T12:33:19.350 回答