问题标签 [sparse-file]

我正在尝试在 C++ 中复制一个稀疏文件。不幸的是，std::experimental::copy_file忽略了稀疏性（至少在 GCC 7.5.0 中）并将我的 16M 文件转换为 52G 副本。

在保持稀疏性的同时复制稀疏文件的最简单方法是什么？

我正在设计一个基于文件系统的队列，当队列非常大时，它会影响扫描队列以计算其大小的性能。我正在寻找一种方法来计算来自许多不同进程的任务完成情况。我的一个想法是创建一个“完成”文件，每个进程以附加模式打开并贡献一个字节。然后文件的大小将是完成的数量，这意味着操作系统正在为我有效地管理所有计数器锁定。

我想知道是否有一种方法可以做到这一点，而无需使用稀疏文件写入任何字节。我可以用 size = size + 1 调用 ftruncate，但这显然会导致许多竞争条件。我想知道是否有一种方法可以在附加模式下写入一个字节并让该字节永远不会实现。

感谢您的建议！

我正在尝试将 numpy ndarray 输出为 CSR 文件（这是一个中间阶段，我正在尝试使用需要 CSR 格式作为输入的程序）。

到目前为止，我已经尝试使用scipy.sparse.coo_matrix()以下代码写入 ijv 文件：

上述代码产生的文件导致下游程序出现段错误。

我现在假设问题出在输出格式上，但我无法找到问题所在。

编辑：在下面回答。

我正在查看复制稀疏文件（到另一个稀疏文件）的代码，它用于DeviceIoControl(... FSCTL_QUERY_ALLOCATED_RANGES ...)获取包含实际数据的范围列表。

是否保证结果包含以下范围：

• 不相交？

• 按FileOffset字段排序？

• 不是空的吗？

• 有FileOffset + Length > FileOffset（即没有环绕wrt uint64_t）？

编辑：

我已经实施了验证，以防操作系统不提供任何这些保证：

我正在尝试将此稀疏矩阵从 MATLAB 文件转换为密集矩阵，因此我应用了 todense() 函数，但我不知道为什么它不起作用。您的帮助将不胜感激谢谢

我正在编写一个程序，它将一些内容写入一个稀疏文件。说，我通过

len很大，但实际内容可能只需要几个kbs。

然后我在这个文件上做内存映射 IO。如何确保从此文件中删除内容，以便不存储临时内容，并且实际存储仍然“稀疏”？

感谢您的任何建议。

我尝试将 sparse.img 解析为 unsparse.img 我已成功获得总块和第一个块，问题是当尝试获取第二个块标头时，这意味着无法获取块标头类型问题是我在哪里获得下一个标头块

我的代码用于获取缓冲区

并用于获取结构并获取缓冲区数组以进行结构

我为文件创建了备份，然后将其压缩并使用 tar 存储。当时我不知道它是一个稀疏文件，所以我没有使用 -S 标志。

现在我正在尝试检索数据，但我不能，因为当我提取时我得到一个非稀疏文件。

他们是检索该信息的一种方式，还是永远丢失了？

提前致谢。