问题标签 [large-files]

当我运行这个脚本时，在浏览了 35MB 的文件后最终消耗了大约 200MB 的 RAM。

在没有 stream_filter 的情况下运行它，内存占用约为 10 MB。

是什么赋予了？

我需要关于在 Delphi 中使用什么（我使用 Delphi 2009）以尽可能快地处理非常大的 XML 文件（例如 100 MB）的建议。

我需要输入 XML，从我的程序中访问和更新其中的数据，然后再次导出修改后的 XML。

希望输入和输出可以在快速的 Windows 机器上在几秒钟内完成。

澄清。我预计我将需要使用 DOM，因为访问用于开发报告和更新数据的数据结构很重要，并且我需要此功能非常快速。

输入只为文件加载完成一次，输出只为文件保存完成，通常只在退出时完成一次。这些也应该很快，但不如内存数据访问和更新重要。

我的理解是，第 3 方解析器仅对输入和输出有帮助，而不是在加载到内存后使用和修改数据。还是我错了？

我必须逐行读取 10 到 20 兆的 CSV 文件。file()没用，我必须找到最快的方法。

我试过 with fgets()，它运行良好，但我不知道每次调用它时它是否读取一个小块，或者它是否缓存一个更大的块并优化文件 I/O。我必须尝试这种fread()方式，自己解析EOL吗？

我的 ASP.NET 应用程序允许用户上传和下载大文件。这两个过程都涉及读取和写入文件流。我应该怎么做才能确保应用程序在处理大文件时不会挂起或崩溃？例如，文件操作是否应该在工作线程上处理？

我做了很多研究，找到了一个 .NET 的上传组件，我可以用它来上传大文件，有一个进度条，并且可以恢复大文件的上传。我遇到过一些组件，例如AjaxUploader、SlickUpload和PowUpload，仅举几例。这些选项中的每一个都需要花钱，并且只有 PowUpload 进行可恢复上传，但它使用 java 小程序来完成。我愿意为能很好地完成这些事情的组件付费，但如果我能自己编写它，那将是最好的。

我有两个问题：

1. 是否可以在不使用 flash/java/Silverlight 的情况下在客户端恢复文件上传？
2. 有没有人有一些代码或文章的链接来解释如何编写一个允许流式上传和 ajax 进度条的 .NET HTTPHandler？

谢谢你，
奥斯汀

[编辑]

我意识到我确实需要能够为我的项目进行可恢复的文件上传，对可以做到这一点的组件有什么建议吗？

假设您有两个要连接在一起的大文件（几 GB），但您的空闲磁盘空间非常少（比如说几百 MB）。也就是说，给定file1and file2，您希望得到一个文件，该文件是逐字节连接file1和在一起的结果，并删除原始文件。file2

你不能做明显的事情cat file2 >> file1; rm file2，因为在这两个操作之间，你会用完磁盘空间。

欢迎使用免费或非免费工具的任何和所有平台上的解决方案；这是我前几天在下载 Linux ISO 时想到的一个假设问题，由于无线故障，下载在中途中断。

我正在编写一个 Perl 脚本来读取 CSV 文件并进行一些计算。CSV 文件只有两列，如下所示。

现在这个 CSV 文件非常大，可以从 10 MB 到 2GB。

目前我正在使用大小为 700 MB 的 CSV 文件。我试图在记事本、excel 中打开这个文件，但看起来没有软件可以打开它。

我想从 CSV 文件中读取可能是最后 1000 行并查看值。我怎样才能做到这一点？我无法在记事本或任何其他程序中打开文件。

如果我编写一个 Perl 脚本，那么我需要处理完整的文件以转到文件末尾，然后读取最后 1000 行。

有没有更好的方法呢？我是 Perl 的新手，任何建议都将不胜感激。

我在网上搜索过，有一些可用的脚本，File::Tail但我不知道它们可以在 Windows 上运行吗？

我有一个包含 XML 文件的完整目录（~10 ³、 10 ⁴），我需要从中提取几个字段的内容。我测试了不同的 xml 解析器，因为我不需要验证内容（昂贵），所以我想简单地使用 xml.parsers.expat （最快的）来遍历文件，一个一个地提取数据。

1. 有没有更有效的方法？（简单的文本匹配不起作用）
2. 我是否需要为每个新文件（或字符串）发出一个新的 ParserCreate() 或者我可以为每个文件重复使用相同的 ParserCreate() 吗？
3. 有什么注意事项吗？

谢谢！

我正在使用以下代码尝试从 UNC 路径将大文件 (280Mb) 读入字节数组

这与以下错误有关。

如果我使用本地路径运行它，它工作正常，在我的测试用例中，UNC 路径实际上指向本地框。

有什么想法吗？

显示一个非常大的文本文件（这个特定文件超过 10GB）的最后 10 行的最有效方法是什么。我想只写一个简单的 C# 应用程序，但我不确定如何有效地做到这一点。