9

我一直在 openSUSE 11.2 x86_64 上处理大型稀疏文件。当我尝试 mmap() 一个 1TB 的稀疏文件时，它会因 ENOMEM 而失败。我原以为 64 位地址空间足以映射 TB，但似乎不是。进一步试验，一个 1GB 的文件可以正常工作，但一个 2GB 的文件（以及更大的文件）会失败。我猜可能有一个设置可以调整，但是广泛的搜索却一无所获。

这是一些显示问题的示例代码 - 任何线索？

#include <errno.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>

int main(int argc, char *argv[]) {
    char * filename = argv[1];
    int fd;
    off_t size = 1UL << 40; // 30 == 1GB, 40 == 1TB

    fd = open(filename, O_RDWR | O_CREAT | O_TRUNC, 0666);
    ftruncate(fd, size);
    printf("Created %ld byte sparse file\n", size);

    char * buffer = (char *)mmap(NULL, (size_t)size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if ( buffer == MAP_FAILED ) {
        perror("mmap");
        exit(1);
    }
    printf("Done mmap - returned 0x0%lx\n", (unsigned long)buffer);

    strcpy( buffer, "cafebabe" );
    printf("Wrote to start\n");

    strcpy( buffer + (size - 9), "deadbeef" );
    printf("Wrote to end\n");

    if ( munmap(buffer, (size_t)size) < 0 ) {
        perror("munmap");
        exit(1);
    }
    close(fd);

    return 0;
}
4

3 回答 3

14

问题是每个进程的虚拟内存限制设置为只有 1.7GB。ulimit -v 1610612736将其设置为 1.5TB，我的 mmap() 调用成功。感谢bmargulies提示尝试 ulimit -a！

于 2010-05-27T05:49:57.437 回答
2

是否有某种每用户配额，限制用户进程可用的内存量？

于 2010-05-26T03:42:32.487 回答
1

我的猜测是内核难以分配它需要跟上此内存映射的内存。我不知道如何在 Linux 内核中跟上换出的页面（并且我假设大部分文件大部分时间都处于换出状态），但它最终可能需要每个页面的条目文件在表中占用的内存。由于这个文件可能被多个进程映射，内核必须从进程的角度跟上映射，该映射将映射到另一个视图，该视图将映射到辅助存储（并包括设备和位置字段）。

这将适合您的可寻址空间，但可能不适合（至少连续）在物理内存中。

如果有人知道更多关于 Linux 如何做到这一点，我很想听听。

于 2010-05-26T04:35:34.670 回答