问题标签 [sparse-file]

我正在尝试更高效地处理稀疏文件。我已经阅读了较新的 Linux 内核中的 SEEK_HOLE 功能。根据其他人的说法，这应该在内核版本 3.1 及更高版本中。

但是，如下所示，它还必须有其他东西。我在内核 3.2+ 上，使用稀疏文件仍然很慢。

对这个（完全空的）稀疏文件执行“cp”或“tar”应该不到 1 秒。

知道我缺少什么吗？如何检查是否支持/激活 SEEK_HOLE？

他们在这里讨论同样的事情，但由于某种原因，我不能在那里发表评论说它不起作用：

复制 1TB 稀疏文件

我打算在日志或磁盘队列等系统中使用 fdatasync。首先是在像 ext4 这样的文件系统中创建一个 10MB 的文件，其中包含“000000...”。但我不知道如何正确地做到这一点。

我正在尝试执行以下任务几个小时。但它仍然无法正常工作，我真的不知道更多。

任务：
如果您在命令行中传递参数 -s，则列出当前目录中所有稀疏文件的 c 程序，或者程序应该打印已经表示文件中间隙的磁盘块的数量以及磁盘块的数量填充为 0，但如果使用 -c 而不是 -s，则会占用磁盘空间。

编码：

我真的不知道该怎么处理。我真的希望有人可以提供帮助。

我们有一个 200GB 的稀疏文件，实际大小约为 80GB（VMware 磁盘）。

1. Google 如何计算这个文件的空间，200GB 还是 80GB？

2. gsutil使用（类似于rsync -S）将其存储在 Google Cloud 中的最佳做法是什么

3. 是否可以通过使用解决tar cSf，然后通过上传gsutil？能慢到什么程度？

我知道什么是稀疏文件，但我不知道像lastlog这样的程序如何或为什么更喜欢这样的文件而不是普通文件。

我知道稀疏文件可用于回送文件系统以节省空间，但这显然对程序来说效率不高，因为它是另一层。

我唯一能想到的就是使用稀疏文件对一个巨大的多维数组（例如矩阵）进行内存有效的随机访问，但我什至不确定这是否是人们使用稀疏文件的目的（我不是即使确定这是否真的比多个文件的性能要高得多）。

我想从表 1 中获取图像以在解析时更新表 2 中的图像这是我的代码

这段代码运行完美，它可以正确检索和设置图像现在我希望这个“图像”上传到我的第二个表中我正在这样做

我做错了什么请帮助？

我正在尝试使用 weka 加载 LibSVM 格式的数据集。这里的代码：

我得到了例外：

我设置了 -Xmx4000m 并注意到程序迅速消耗了 4000m 的 RAM 并引发了异常。Weka 是否真的在处理过程中处理 libsvm 格式或在内部以密集格式加载和存储数据？

任何人都可以让我知道如何通过安装和配置大约 1000 个软件包来减少创建 vm 的时间。

我正在使用 shell 脚本来自动化 ubuntu server edition 的基本版本。有没有提高性能的技术？

我已经确定了一种替代方案。就像在基础 ubuntu 服务器中构建本地存储库一样。这样安装时间就会减少。但主要缺点是，如果我们添加本地存储库，则基础映像的大小会增加。

添加本地仓库后是否有任何技术可以减小大小。像释放稀疏文件等......？如果是的话，如何做到这一点。

还有其他提高性能的技术吗？

根据文档 ParseFile 需要一个扩展，以便知道它正在处理什么类型的内容。在我的情况下，用户使用她的移动设备捕获视频，然后从视频的 Uri 中，我获取 byte[] 并将其传递给 ParseFile。我的视频的扩展名应该是什么？我的意思是当我这样做的时候

应该扩展videofilename什么？

如果你用这个运行 dd ：

您似乎得到了一个完全未分配的稀疏文件（这是 ext4）

fibmap 同意：

无需深入研究 dd 的源代码，我就试图弄清楚如何在 C 中做到这一点。

我尝试了 fseeking 和 fwriting 零字节，但它什么也没做。不知道还能尝试什么，我想在我追捕 dd 的内脏之前可能会有人知道。

编辑：包括我的例子......