问题标签 [large-files]

Internet Explorer 的文件下载限制为 4GB（IE6 为 2GB）。Firefox 没有这个问题（还没有测试过 safari）（更多信息在这里：http: //support.microsoft.com/kb/298618）

我正在开发一个允许用户下载非常大的文件（最大和超过 100GB）的网站

不使用 FTP的最佳方法是什么。最终用户必须能够使用 HTTP 从浏览器下载文件。我不认为 Flash 或 Silverlight 可以将文件保存到客户端，所以据我所知他们不会剪切它。

我猜我们将需要一个 ActiveX 或 Java 小程序来实现这一点。类似于 MSDN 使用的下载管理器。

有谁知道可以做到这一点的商业（或免费）组件？我们不希望用户必须安装“浏览器范围”的下载管理器（如 GetRight），我们希望它只能在我们的网站上下载。

更新：这里有一些额外的信息来帮助澄清我正在尝试做的事情。大多数超过 4GB 限制的文件都是大型高清视频文件（它适用于视频编辑公司）。这些将由互联网上的用户下载，这不会是本地网络上的人。我们希望这些文件可以通过 HTTP 访问（一些用户将位于不允许 FTP、Bittorrent 等的防火墙后面）。这将是最终用户可以下载的文件库，因此我们不是在谈论一次性大下载。将半定期下载不同的大文件。

到目前为止，@Edmund-Tay 建议的 Vault 是最接近的解决方案。唯一的问题是它不适用于大于 4GB 的文件（它在开始下载之前立即失败，它们可能在某处使用了一个 32 位整数，该文件的内容长度超出/溢出）。

最好的解决方案是 java applet 或 ActiveX 组件，因为该问题仅存在于 IE 中，其工作方式类似于链接到的文章 @spoulson。但是，到目前为止，我还没有找到可以执行类似操作（多部分下载、恢复等）的解决方案。

看起来我们可能不得不自己写。另一种选择是编写与扩展或 mime 类型相关联的 .Net 应用程序（可能是 ClickOnce）。然后用户实际上会从 web 服务器下载一个小文件，该文件在 exe/ClickOnce 应用程序中打开，告诉应用程序要下载什么文件。这就是 MSDN 下载器的工作原理。然后，最终用户只需下载/安装一次 EXE。这比每次他们想下载一个大文件时都下载一个 exe 更好。

我有一个相当大的文件（1.5 亿行 10 个字符）。我需要将它拆分为 200 万行的 150 个文件，每个输出行或者是源行的前 5 个字符或最后 5 个字符。我可以在 Perl 中相当快地做到这一点，但我想知道是否有使用 bash 的简单解决方案。有任何想法吗？

是否有可以处理大于可用 RAM 的文件的分布式版本控制系统（git、bazaar、mercurial、darcs 等）？

我需要能够提交大型二进制文件（即数据集、源视频/图像、档案），但我不需要能够区分它们，只需能够提交然后在文件更改时更新。

我上次看这个大约是一年前，没有一个明显的候选人允许这样做，因为它们都是为了速度而设计的。这给我留下了一个用于管理代码的 VCS 和用于大文件的其他东西（“资产管理”软件或只是 rsync 和脚本），当两者的目录结构重叠时，这非常难看。

作为本地颠覆沙皇，我向大家解释说，在存储库中只保留源代码和非巨大的文本文件，而不是巨大的二进制数据文件。可能是作为测试一部分的较小的二进制文件。

不幸的是我和人类一起工作！有人可能有一天会不小心提交了一个 800MB 的二进制 hulk。这会减慢存储库操作。

上次我检查时，您无法从存储库中删除文件；只是使它不属于最新版本。存储库永远保留这个怪物，以防有人想回忆那个日期或修订号的存储库状态。

有没有办法真正删除那个怪物文件并最终得到一个大小合适的存储库？我已经尝试过 svnadmin 转储/加载，但它很痛苦。

所以我有一个“大量”的“非常大”的数字数据 ASCII 文件（总共千兆字节），我的程序需要至少按顺序处理整个文件一次。

关于存储/加载数据的任何建议？我曾考虑将文件转换为二进制文件以使它们更小并加快加载速度。

我应该一次将所有内容都加载到内存中吗？
如果不是，那么打开部分加载数据的好方法是什么？
有哪些与 Java 相关的效率提示？

我正在寻找一个能够将 4+ GB 文件加载到其中的文本编辑器。文本板不起作用。我拥有它的副本并访问过它的支持站点，但它只是不这样做。也许我需要新硬件，但这是一个不同的问题。编辑器需要是免费的，或者，如果它要花费我，那么不超过 30 美元。对于 Windows。

我的意思是 100+ MB 大；这样的文本文件可以推动编辑的信封。

我需要查看一个大的 XML 文件，但如果编辑器有问题，我就不能。

有什么建议么？

fopen当我尝试在PHP. A 6 meg file让它窒息，尽管周围较小的文件100k就可以了。我读过有时需要PHP使用-D_FILE_OFFSET_BITS=64标志重新编译才能读取超过 20 gig 的文件或一些荒谬的文件，但我不应该对 6 meg 文件没有问题吗？最终，我们将要读取大约 100 兆的文件，如果能够打开它们然后使用 fgets 逐行读取它们会很好，因为我可以处理较小的文件。

你有什么技巧/解决方案来读取和执行非常大的文件的操作PHP？

更新：这是一个在我的 6 meg 文件上失败的简单代码块的示例 - PHP 似乎没有抛出错误，它只是返回 false。也许我在做一些非常愚蠢的事情？

另一个更新：感谢大家的帮助，事实证明这确实是一件非常愚蠢的事情——权限问题。当较大的文件没有时，我的小文件莫名其妙地具有读取权限。嗬！

是否有开源替代方案（类似于ultraedit）来处理文件大小> 200 MBytes的文件？

我有大量数据要在全球 4 或 5 个站点上保持同步，每个站点大约 0.5 TB。这种变化（添加或更改）每天大约 1.4 GB，并且数据可以在四个站点中的任何一个站点发生变化。

很大一部分（30%）的数据是重复的包（可能是打包的 JDK），所以解决方案必须包括一种方法来识别本地机器上存在这样的东西并取而代之从另一个站点下载。

版本控制不是问题，这不是代码库本身。

我只是感兴趣是否有任何解决方案（最好是开源的）接近这样的事情？

我的使用 rsync 的婴儿脚本不再那么简单了，我想做更复杂、更智能的同步。

谢谢

编辑：这应该是基于 UNIX 的 :)