问题标签 [sparse-file]

我有一个使用数组python3操作的脚本。numpy.memmap它将一个数组写入新生成的临时文件，该文件位于/tmp：

HDD的大小只有250G。尽管如此，它还是能以某种方式生成 10T 的大文件/tmp，并且相应的数组似乎仍然可以访问。脚本的输出如下：

该文件确实存在并且显示为 10T 大：

但是，整个大小/tmp要小得多：

该进程也是假装使用10T虚拟内存，这也是不可能的。命令的输出top：

据我了解，这意味着在调用numpy.memmap整个数组所需的内存期间未分配，因此显示的文件大小是虚假的。这反过来意味着当我开始逐渐用我的数据填充整个数组时，在某些时候我的程序会崩溃或者我的数据会被破坏。

事实上，如果我在我的代码中引入以下内容：

一段时间后我收到错误消息：

因此，问题是：如何在开始时检查是否真的有足够的内存来存储数据，然后确实为整个数组保留空间？

谁能告诉我在最新的 vdbench 50404rc2 中创建稀疏文件（holey 文件）的任何指针。看来这是最新支持的功能。

更多信息的链接： https ://community.oracle.com/thread/3759500?start=0&tstart=0

我只是按照这个页面来构建自定义的 oracle linux 机器映像。

我想在我的 Mac 中使用 cp cp --sparse=always，例如将 VM 磁盘转换为该页面的机器映像。但是，我的 Mac 无法识别此选项。如何在我的 Mac 中执行此步骤？

我的问题是处理稀疏文件读取并了解文件的范围在哪里围绕它执行一些逻辑。

由于没有直接的 API 调用来解决这些问题，我决定使用 ioctl api 来执行此操作。我从 cp 命令如何通过查看他们的代码来处理复制稀疏文件的问题得到了这个想法，并最终看到了这一点。

https://github.com/coreutils/coreutils/blob/df88fce71651afb2c3456967a142db0ae4bf9906/src/extent-scan.c#L112

因此，我尝试在用户空间中运行的示例程序中执行相同的操作，但出现“无效参数”错误。我不确定我错过了什么，或者这是否可能来自用户空间。我在 ext4 文件系统上的 ubuntu 14.04 上运行。这可能是设备驱动程序在下面支持这些请求模式的问题吗？

给定文件描述符或文件名，我如何知道是否可以写入任意位置而无需等待干预部分在磁盘上显式归零？

我想知道 python hashlib 库如何处理稀疏文件。如果文件有很多零块，那么它不会在读取零块时浪费 CPU 和内存，而是进行任何优化，例如扫描 inode 块映射并仅读取分配的块来计算散列？

如果它还没有这样做，那么我自己做的最好方法是什么。

PS：不确定在 StackOverflow Meta 中发布这个问题是否合适。

谢谢。

我正在开发一款将数据写入 NTFS 稀疏文件的软件，但我找不到任何关于 NTFS 稀疏文件限制的文档。

我看到提到存在限制这一事实，但没有看到这些限制是什么。

具体来说，我对稀疏文件的最大文件大小和文件内分配范围的数量的任何限制感兴趣。

“ fs.sys.Size ”（fs 是os包中的fileStat）返回文件的表观大小。这在处理稀疏文件时并不理想。

有没有办法在 GO 中获取实际文件大小？或者所有应用程序都必须获得将空块表示为真实块的转换后的元数据？

我想将文件从一个地方复制到另一个地方，问题是我要处理很多稀疏文件。

是否有任何（简单）方法可以复制稀疏文件而不会在目的地变得庞大？

我的基本代码：

什么是稀疏文件，我们为什么需要它？我唯一能得到的是它是一个非常大的文件并且它很高效（以千兆字节为单位）。效率如何？