问题标签 [large-files]

我需要在 Windows XP 计算机和运行 Leopard 的 Mac 之间传输 DVD 映像文件。

这些机器没有通过快速网络连接，我有一些我想使用的 USB 驱动器，例如 8GB 闪存、60GB 和 250GB USB 硬盘驱动器。

有时文件会超过 4GB（FAT32 上单个文件的最大大小），而且我对 Leopard 上的 NTFS 不满意。我不知道任何支持 Mac 文件系统（如 HFS）的 XP/Vista 驱动程序。

有人对这里最适合哪种文件系统有任何建议吗？

谢谢汤姆

我需要在 C# 中对相当大的 XML 文件（这里可能超过千兆字节）进行一些处理，包括执行一些复杂的 xpath 查询。我遇到的问题是，我通常通过 System.XML 库执行此操作的标准方式喜欢在对整个文件执行任何操作之前将整个文件加载到内存中，这可能会导致这种大小的文件出现内存问题。

我根本不需要更新文件，只需阅读它们并查询其中包含的数据。一些 XPath 查询非常复杂，并且涉及多个级别的父子类型关系——我不确定这是否会影响使用流读取器而不是将数据作为块加载到内存中的能力。

我可以看到使其工作的一种方法是使用基于流的方法执行简单的分析，并且可能将 XPath 语句包装到 XSLT 转换中，然后我可以在文件中运行，尽管它看起来有点复杂。

或者，我知道 XPath 查询不会遇到某些元素，所以我想我可以根据它的原始树结构将文档分成一系列较小的片段，这些片段可能足够小，可以在内存中处理而无需造成太大的破坏。

我试图在这里解释我的目标，所以如果我在一般方法方面完全错误的树，我相信你们可以让我正确......

我使用巨大的数据文件，有时我只需要知道这些文件的行数，通常我打开它们并逐行读取它们，直到到达文件末尾

我想知道是否有更聪明的方法来做到这一点

上传大文件时 PostedFile.InputStream 何时可用？

我想将 Stream 传递给另一个进程，我希望如果正在上传一个大文件，我可以将 Stream 直接传递给该新进程，而无需写入文件系统。由于该过程和/或上传可能需要一段时间，我想知道是否可以立即开始读取 InputStream，或者是否必须等待整个文件传输到服务器才能处理。

我想一个更普遍的问题是 - 涉及文件上传时 POST 请求的生命周期是什么？

我需要保留一些大文件（一些 Gigs）的版本。

我不需要，也不能保留所有版本的文件。我希望能够在某个时刻从我的 VCS 大文件版本中删除。

我想要保留在版本控制之下的文件是大的 .zip 文件或 ISO 映像。这些文件可能包含可执行软件或数据（地震数据、SAR 图像、GNSS 数据），它们由我公司的软件供应商提供。

我可以使用什么控制版本系统？

我正在尝试编写一个 Java 类来提取一个包含 ~74000 个 XML 文件的大型 zip 文件。尝试使用 java zip 库解压缩时出现以下异常：

java.util.zip.ZipException : ZIP 文件中的条目太多

不幸的是，由于项目的要求，我无法在它到达我之前将其分解，并且解压缩过程必须是自动化的（没有手动步骤）。有没有办法利用 java.util.zip 或使用一些 3rd 方 Java zip 库来解决这个限制？

谢谢。

我想将一个最大为 10MB 的大文件上传到我的 MySQL 数据库。使用.htaccess我将 PHP 自己的文件上传限制更改为“10485760”= 10MB。我可以毫无问题地上传最大 10MB 的文件。

但如果文件大小超过 1 MB，我无法将其插入数据库中。

我正在使用file_get_contents读取所有文件数据并将其作为要插入 LONGBLOB 字段的字符串传递给插入查询。

但是大于 1 MB 的文件不会添加到数据库中，尽管我可以使用print_r($_FILES)它来确保文件正确上传。任何帮助将不胜感激，我将在接下来的 6 小时内需要它。所以，请帮忙！

我有一个非常大的 CSV 文件，我需要编写一个可以解析它的应用程序，但是使用 >6GB 的文件进行测试很痛苦，有没有一种简单的方法可以提取前一百或两行而无需加载整个文件进入记忆？

该文件位于 Debian 服务器上。

我有一个允许用户上传图像的 ASP.Net MVC 应用程序。当我尝试上传一个非常大的文件 (400MB) 时，我收到一个错误。

我认为我的图像处理代码（自制）效率非常低，所以我决定尝试使用第三方库来处理图像处理部分。

因为我使用的是 TDD，所以我想先写一个失败的测试。但是当我用同一个大文件测试控制器动作时，它能够毫无问题地完成所有图像处理。

我得到的错误是“内存不足”。

我确定我的代码使用的内存可能比它需要的多得多，但我只想知道为什么我的测试通过了。

另一个区别是我使用的是未用于测试的 SWFUpload。这可能是原因吗？

I have some really large files for example 320 MB tif file with 14000 X 9000 pixels.

The operations I need to perform are basically scaling the images to get smaller versions of it and breaking the image into tiles.

My code works fine with small files and I use the .Net Bitmap objects but I will occasionally get Out of Memory exceptions for larger files.

I've tried using the FreeImage libraries FreeImageBitmap but have the same problems.

I'm using something like the following to scale the image:

Ideally I'd like a third party library to do all the hardwork, but if you have any tips or resources with more information I would appreciate it.