问题标签 [large-files]

64 位文件 API 在每个平台上都不同。

在 Windows 中：_fseeki64
在 linux 中：fseeko
在 freebsd 中：又一个类似的调用...

我怎样才能最有效地使它更方便和便携？有什么有用的例子吗？

我正在编写一个 Java 文本组件，并试图在中间部分加载一些大文本文件（出于速度原因）。

我的问题是文本是否采用某种多字节编码格式，如 UTF8、Big5、GBK 等。如何对齐字节以便正确解码文本？

问题：在 .Net 中使用 XSL 转换大型 XML 文档 (>200MB) 的最佳方法是什么？

背景：我有一个为我提供大型数据文件的应用程序，我无法更改格式。在过去，我能够毫无问题地翻译较小的数据文件。

最初我将 XML 作为字符串使用，并且很快就耗尽了内存。我切换了我的代码，现在我处理 MemoryStream 的读取，使用样式表进行转换，然后使用文件流将输出的副本保存到单独的位置。

应用样式表会导致应用程序消耗超过 1gb 的内存并最终崩溃。

我知道我可以使用 DOM 以编程方式处理 XML，但我真的很想坚持应用 XSL 样式表的通用方法。

有没有人对我在处理 XSL 转换时如何更好地管理内存有任何指示？下面是我正在应用转换的代码片段：

C# 或 VB 示例都很好，我可以使用任何一个...这个应用程序是我的手，所以请不要批评 vb :) -J

我使用 G++ 中的标准ftell和fseek选项遇到整数溢出，但我想我弄错了，因为ftell64和fseek64似乎不可用。我一直在搜索，许多网站似乎使用带有off64_t数据类型的lseek进行引用，但我没有找到任何引用与fseek相等的示例。现在，我正在阅读的文件是 16GB+ CSV 文件，预计至少会增加一倍。

在没有任何外部库的情况下，实现与fseek/ftell对相似的结构的最直接方法是什么？我的应用程序现在使用 4.x 的标准 GCC/G++ 库工作。

我正在寻找一种快速但不那么脏的方法来对总共大约 80 个演出的一堆文件进行快照。这里的问题是许多文件大约 1 GB 大。

对于这类事情，最好的免费版本控制系统是什么？

我知道 ZFS 是一种选择，但我宁愿先尝试其他方法。

我需要在 C# 控制台应用程序中通过 HTTP 下载一个大文件 (2 GB)。问题是，大约 1.2 GB 后，应用程序内存不足。

这是我正在使用的代码：

如您所见...我正在将文件直接读入内存。如果我要从 HTTP 中读取数据并将其写入磁盘上的文件，我很确定我可以解决这个问题。

我怎么能这样做？

我知道 SF 中存在此类问题，但它们非常具体，我需要一个通用的建议。我需要一个上传用户文件的功能，它的大小可能超过 1 GB。此功能将是应用程序中现有文件上传功能的附加功能，适用于较小的文件。现在，这里有一些选项

1. 使用 HTTP 和 Java 小程序。以块的形式发送文件并在服务器上加入它们。但是如何限制 n/w。
2. 使用 HTTP 和 Flex 应用程序。它是否比小程序 wrt 浏览器兼容性和任何其他环境问题更好？
3. 使用 FTP 或 SFTP 而不是 HTTP 作为协议以加快上传过程

请建议。

此外，我必须确保此上传过程不会妨碍其他用户的任务，或者换句话说，不会占用其他用户的 b/w。任何可以在 n/w 级别完成以限制此类进程的机制？

最终，客户希望选择 FTP。但我认为以编程方式处理文件的答案也很酷。

如何使用 c sharp 将大型内容动态写入磁盘。任何建议或参考表示赞赏。

我正在尝试创建一个文件（自定义格式和扩展名）并写入它。用户将上传一个文件，其内容将转换为字节流并写入文件（filename.hd）。上传文件的索引在另一个文件（filename.hi）中完成。

当“filename.hd”文件大小为 2 GB 时，这对我来说很好，当它超过 2 GB 时，它不允许我添加内容。这是我的问题。

谷歌搜索后，我发现基于 FAT 32 windows 的系统（大多数版本）仅支持 2GB 的文件大小。有什么解决方案可以解决这种情况。请告诉我。

在此先感谢

是否有类似 TextBox 的 WinForms 控件可以在只读模式下显示大量文本（数百兆字节）？当然，它应该可以在不一次将整个文件加载到内存的情况下工作。

我正在尝试自己实现这一点，使用标准的 TextBox，处理滚动和键盘事件并读取填充可见“窗口”所需的文本量。但它仍然很麻烦，我觉得我在重新发明轮子。

我必须在 php 中解析大型 XML 文件，其中一个是 6.5 MB，它们可能更大。我读过的 SimpleXML 扩展将整个文件加载到一个对象中，这可能不是很有效。根据您的经验，最好的方法是什么？