问题标签 [large-files]

我必须在某些机器上同步大文件。文件最大可达 6GB。同步将每隔几周手动完成。我不能考虑文件名，因为它们可以随时更改。

我的计划是在目标 PC 和源 PC 上创建校验和，然后将所有带有校验和的文件（尚未在目标中）复制到目标。我的第一次尝试是这样的：

问题是运行时间：
- 使用 SHA256 和 1,6 GB 文件 -> 20 分钟
- 使用 MD5 和 1,6 GB 文件 -> 6.15 分钟

有没有更好更快的方法来获取校验和（也许有更好的散列函数）？

我有一个 2 MB 的文件，不是太大，我想将它放入一个 sqlite 数据库中以便我可以搜索它。CSV 格式的条目大约有 30K，每行有六个字段。我的理解是 iPhone 上的 sqlite 可以处理这种大小的数据库。

我采取了一些方法，但它们都慢了 > 30 秒。我试过了：

1）使用C代码读取文件并将字段解析为数组。

2）使用以下Objective-C代码解析文件并直接放入sqlite数据库：

我错过了什么吗？有谁知道将文件放入数据库的快速方法？

或者是否可以将文件翻译成可以直接读入sqlite的sqlite格式？

或者我应该将文件转换为 plist 并将其加载到字典中？不幸的是，我需要搜索两个字段，我认为字典只能有一个键？

路易斯，谢谢你的回复。

我应该提到我只想在应用程序开始时将数据写入数据库一次，然后我只需要读取数据库，不写入。

您能告诉我如何在构建过程中直接从 CSV 文件生成 sqlite3 数据库吗？

我正在尝试清理此（旧）电子表格中的数据，并且需要删除单引号和双引号、HTML 标记等内容。麻烦的是，它是一个 3000 行的文件，有 25 列，我尝试过的每个电子表格应用程序（NeoOffice、MS Excel、Apple Numbers）都会被它阻塞。难的。

关于如何清理这个东西以导入 MySQL 的任何想法？显然，我可以逐行手动浏览每条记录，但如果可能的话，我想避免这种情况。同样，我可以编写一个 PHP 脚本在导入时处理它，但也不想让服务器陷入死循环。

我需要编写一个文本文件查看器（不是目录树，而是实际的文件内容）以在浏览器中使用。它将用于查看大文件。我想让用户能够真正 ummm 浏览文件，即上一页和下一页按钮，而每个页面将只显示文件的一部分。

两个问题：

• 无论如何通过POST（或其他东西）传递文件描述符，以便在每个页面上我可以继续从已经打开的文件中读取，而不是重新开始（再次 - 大文件）
• 有没有办法向后读取文件？对于浏览回文件非常有用。

非常欢迎任何其他实现想法。谢谢

我读过 boost iostreams 应该支持 64 位访问大文件的半便携方式。他们的常见问题解答提到了64 位偏移函数，但没有关于如何使用它们的示例。有没有人使用这个库来处理大文件？打开两个文件，寻找它们的中间并将一个复制到另一个的简单示例将非常有帮助。

谢谢。

我有一些比较大的文件（Flash 电影）要提供。我应该把它们放在我的项目中的什么地方？我不想每次导出 .war 文件时都导出它们，因为它们占用了大量空间。

我编写了一个简单的 PHP 应用程序来为公司员工创建工资检查。db & app 之间的交互很好，数据被缓存并且性能足够高。所以有什么问题？

我需要为最终用户提供一键打印整个支票的能力。打印如此大的 HTML 文件是不可能的，除非浏览器崩溃。

因此，如果您对列出支票和打印它们有任何解决方案/建议，我将不胜感激。

为什么使用打印输出到文件时文件的大小上限为 4 GB？我希望通过流输出应该可以生成任意大小的文件。

更新：ijw和Chas。欧文斯是对的。我以为 F: 盘是 NTFS 格式的，但实际上它使用的是 FAT32 文件系统。我在另一个驱动器上尝试过，我可以生成一个 20 GB 的文本文件。在这种情况下没有限制。向所有人道歉。

详细信息：在研究回答 Stack Overflow 上的问题时，我需要测量使用 Perl 读取非常大的文本文件的性能。为了测试读数，我需要一个大的文本文件，我编写了一个小的 Perl 脚本来生成文本文件，但遇到了一个意想不到的问题。输出文件会不断增长，直到达到 4 GB。根据 Windows Explorer，脚本一次运行的大小为 4294967269 字节（磁盘上为 4294967296 字节）。脚本继续，但文件不再增长。

重要的是它只是一些：

其中 $line 是一个以“\n”结尾的长字符串。线的长度是可以配置的，对于这个问题并不关键；例如 250 个字符或 34000 个字符。NUMBERS_OUTFILE 是使用以下命令创建的文件句柄：

驱动器 F：采用 NTFS 格式，位于与操作系统磁盘不同的物理硬盘上。

是什么原因，是否有解决方法？

完整的Perl 脚本和BAT 驱动程序脚本（使用 pre 标签格式化的 HTML）。如果设置了两个环境变量 MBSIZE 和 OUTFILE，那么 Perl 脚本应该能够在 Windows 以外的其他平台上不加改变地运行。

平台：来自 ActiveState 的 Perl 5.10.0；32位；build 1004。Windows XP x64 SP2、8 GB RAM、500 GB Green Caviar 硬盘。

perl -V说：

我构建了一个 WSSv3 应用程序，它以小块上传文件；当每个数据块到达时，出于性能原因，我暂时将其保存在 SQL 2005 图像数据类型字段中**。

上传结束时出现问题；我需要通过 WSSv3 对象模型将数据从我的 SQL Server 移动到 Sharepoint 文档库。

现在，我可以想到两种方法：

和

有没有其他方法可以成功完成这项任务？

** 性能原因：如果您尝试直接在 Sharepoint 上写入每个块，您会注意到随着文件增长 (>100Mb) 的性能下降。

我是一名生物信息学家，目前从基因组文件中提取正常大小的序列。一些基因组文件足够大，我不想将它们放入主 git 存储库，而我将提取的序列放入 git。

是否可以告诉 git “这是一个大文件 - 不要存储整个文件，只需获取它的校验和，如果该文件丢失或修改，请告诉我。”

如果那不可能，我想我将不得不 git-ignore 大文件，或者按照这个问题的建议，将它们存储在一个子模块中。