9

假设，假设我想对一个可能非常大的文件执行顺序写入。

如果我 mmap() 一个巨大的区域并在整个区域上使用 madvise(MADV_SEQUENTIAL)，那么我可以以相对有效的方式写入内存。我已经开始工作了。

现在，为了在我编写时释放各种操作系统资源，我偶尔会在已写入的小块内存上执行 munmap()。我担心 munmap() 和 msync() 会阻塞我的线程，等待数据物理提交到磁盘。我根本不能放慢我的作家的速度，所以我需要找到另一种方式。

在已经写入的小块内存上使用 madvise(MADV_DONTNEED) 会更好吗？我想告诉操作系统将该内存延迟写入磁盘，而不是阻止我的调用线程。

madvise() 的联机帮助页有这样的说法，这是相当含糊的：

MADV_DONTNEED
Do  not expect access in the near future.  (For the time being, the 
application is finished with the given range, so the kernel can free
resources associated with it.)  Subsequent accesses of pages in this
range will succeed, but will result either in re-loading  of the memory
contents from the underlying mapped file (see mmap(2)) or
zero-fill-on-demand pages for mappings without an underlying file.
4

4 回答 4

20

不！

为了自己好，远离MADV_DONTNEED。Linux不会将此作为在写回页面后将其丢弃的提示，而是立即将其丢弃。这不被认为是一个错误，而是一个深思熟虑的决定。

具有讽刺意味的是，原因是非破坏性的功能MADV_DONTNEED已经由 给出msync(MS_INVALIDATE|MS_ASYNC)，MS_ASYNC另一方面不启动 I/O（事实上，它什么都不做，遵循脏页写回无论如何都可以正常工作的推理），fsync总是阻塞，如果你超过一些模糊的限制并且被文档认为是“极其危险的”，无论这意味着什么，它sync_file_range 可能会阻塞。

无论哪种方式，您都必须msync(MS_SYNC)，或fsync（都阻塞），或sync_file_range（可能阻塞）后跟fsync，否则您将丢失数据MADV_DONTNEED。如果您无法承受阻塞，可悲的是，您别无选择，只能在另一个线程中执行此操作。

于 2013-10-29T14:34:13.617 回答
3

对于最近的 Linux 内核（刚刚在 Linux 5.4 上测试过），MADV_DONTNEED当映射不是 private时，例如mmap没有MAP_PRIVATE标志，可以按预期工作。我不确定以前版本的 Linux 内核的行为是什么。

从 Linux 手册页项目手册页的 4.15 版开始madvise：

操作成功后MADV_DONTNEED，指定区域中内存访问的语义发生变化：后续访问该范围内的页面将成功，但会导致从底层映射文件的最新内容重新填充内存内容（用于共享文件映射、共享匿名映射和基于 shmem 的技术（例如 System V 共享内存段）或用于匿名私有映射的按需零填充页面。

Linux 在Linux 4.5MADV_FREE的 BSD 系统中添加了一个具有相同行为的新标志

如果需要，它只是将页面标记为可释放，但它不会立即释放它们，从而可以重用内存范围而不会产生再次出错页面的成本。

对于为什么MADV_DONTNEED私有映射可能会在未来访问时导致零填充页面，请观看Bryan Cantrill 的咆哮​​，正如@Damon 的答案评论中提到的那样。剧透：它来自 Tru64 UNIX。

于 2021-05-14T15:00:45.507 回答
1

如前所述，MADV_DONTNEED不是你的朋友。从 Linux 5.4 开始，您可以使用MADV_COLD它来告诉内核它应该在存在内存压力时分页该内存。这似乎正是在这种情况下想要的。

在此处阅读更多信息： https ://lwn.net/Articles/793462/

于 2021-07-09T14:07:21.807 回答
0

首先， madv_sequential 启用主动预读，因此您不需要它。其次，os 无论如何都会懒惰地将脏的文件烘焙内存写入磁盘，即使你什么也不做。但是 madv_dontneed 会指示它立即释放内存（你称之为“各种操作系统资源”）。第三，不清楚顺序写入的映射文件有什么优势。只需 write(2) （但使用缓冲区 - 手动或 stdio），您可能会得到更好的服务。

于 2013-02-20T02:26:42.530 回答