6

我想知道一个大文件的哪一部分缓存在内存中。我正在使用来自fincore的一些代码，它的工作方式是：文件被 mmaped，然后 fincore 循环遍历地址空间并使用 mincore 检查页面，但由于文件大小（几个 TB），它非常长（几分钟） ）。

有没有办法在使用过的 RAM 页面上循环？它会快得多，但这意味着我应该从某个地方获取已使用页面的列表......但是我找不到一个方便的系统调用来允许它。

代码如下：

#include <errno.h> 
#include <fcntl.h> 
#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <sys/stat.h> 
#include <sys/types.h> 
#include <unistd.h> 
/* } */

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <sys/sysinfo.h>


void
fincore(char *filename) {
   int fd;
   struct stat st;

   struct sysinfo info;
   if (sysinfo(& info)) {
    perror("sysinfo");
    return;
   }

   void *pa = (char *)0;
   char *vec = (char *)0;
   size_t pageSize = getpagesize();
   register size_t pageIndex;

   fd = open(filename, 0);
   if (0 > fd) {
      perror("open");
      return;
   }

   if (0 != fstat(fd, &st)) {
      perror("fstat");
      close(fd);
      return;
   }

   pa = mmap((void *)0, st.st_size, PROT_NONE, MAP_SHARED, fd, 0);
   if (MAP_FAILED == pa) {
      perror("mmap");
      close(fd);
      return;
   }

   /* vec = calloc(1, 1+st.st_size/pageSize); */
   /* 2.2 sec for 8 TB */
   vec = calloc(1, (st.st_size+pageSize-1)/pageSize);
   if ((void *)0 == vec) {
      perror("calloc");
      close(fd);
      return;
   }

    /* 48 sec for 8 TB */
   if (0 != mincore(pa, st.st_size, vec)) {
      fprintf(stderr, "mincore(%p, %lu, %p): %s\n",
              pa, (unsigned long)st.st_size, vec, strerror(errno));
      free(vec);
      close(fd);
      return;
   }

   /* handle the results */
   /* 2m45s for 8 TB */
   for (pageIndex = 0; pageIndex <= st.st_size/pageSize; pageIndex++) {
      if (vec[pageIndex]&1) {
         printf("%zd\n", pageIndex);
      }
   }

   free(vec);
   vec = (char *)0;

   munmap(pa, st.st_size);
   close(fd);

   return;
}

int main(int argc, char *argv[]) {
    fincore(argv[1]);

    return 0;
}
4

2 回答 2

1

对于所有或几乎所有页面确实在 RAM 中的悲观情况，表示列表所需的信息量远高于位图 - 每个条目至少 64 位对 1 位。如果有这样的 API，当查询它关于你的 20 亿页时，你必须准备在回复中获得 16 GB 的数据。此外，处理列表等可变长度结构比处理固定长度数组更复杂，因此库函数，尤其是低级系统函数，往往会避免麻烦。

我也不太确定实现（在这种情况下操作系统如何与 TLB 和 Co 交互），但很可能是（即使大小差异除外）填充位图可以比创建列表更快，因为从中提取信息的操作系统和硬件级结构。

如果您不关心非常精细的粒度，可以查看/proc/<PID>/smaps. 对于每个映射区域，它会显示一些统计信息，包括加载到内存中的数量（Rss字段）。如果出于调试的目的，您使用单独的mmap()调用映射文件的某些区域（除了用于执行实际任务的主映射之外），您可能会获得单独的条目smaps，从而看到这些区域的单独统计信息。几乎可以肯定，在不杀死系统的情况下，您无法进行数十亿次映射，但如果文件结构良好，那么仅针对几十个精心选择的区域进行单独统计可能会帮助您找到所需的答案。

于 2012-07-06T17:48:37.010 回答
0

被谁缓存？

考虑启动后文件位于磁盘上。它的任何部分都不在内存中。

现在打开文件并执行随机读取。

文件系统（例如内核）将被缓存。

C 标准库将被缓存。

内核将缓存在内核模式内存中，C 标准库在用户模式内存中。

如果您可以发出查询，也可能是在查询之后立即 - 在它返回给您之前 - 从缓存中删除有问题的缓存数据。

于 2012-07-06T15:02:41.733 回答