我无法使用内置的 .net 4.0 Gzip 和 Deflate 类以编程方式解压缩 3GB（7GB 未压缩）gzip 文件。
我的理解是它们都应该支持超过 4GB 的文件，但它们似乎不起作用。当我使用 WinRAR 手动解压缩有问题的文件，然后使用流式阅读器流式传输底层 csv 文件并计算行数时，我得到了预期的结果，大约 7500 万行。但是，当使用 GzipStream 或 DeflateStream 执行此操作时，流读取器会在一半多一点处停止（正好在 4GB 标记附近）并报告“流结束”并在没有错误的情况下结束。使用这些阅读器，我只能在流结束前到达大约 3400 万行。
然后我尝试了.net zip http://dotnetzip.codeplex.com/的最新二进制文件，它运行到一半并引发错误。“目标数组不够长。检查 destIndex 和长度，以及数组的下限。”
我没有创建这个文件，但我们以前从未遇到过来自同一来源的较小文件的问题，所以我怀疑大小是导致问题的原因。可能是用于创建此文件的工具不兼容 64 位，但在我对创建者进行错误处理之前，我想确保在 gzip 提取器逻辑中该错误不在我们这边。
任何想法将不胜感激。下面的示例提取代码和测试方法：
var msGZ = 0;//gives 34million
var fileName = @"C:\MyFile.csv.gz";
using (System.IO.Stream input = System.IO.File.OpenRead(filename))
using (var gz = new GZipStream(stream, CompressionMode.Decompress))
using (var r = new StreamReader(gz))
{
while (!r.EndOfStream)
{
r.ReadLine();
msGZ++;
}
}
var msDF = 0; //gives 34million
using (System.IO.Stream input = System.IO.File.OpenRead(filename))
using (var df = new DeflateStream(stream, CompressionMode.Decompress))
using (var r = new StreamReader(df))
{
while (!r.EndOfStream)
{
r.ReadLine();
msDF++;
}
}
var csvCount = 0;//roughly 75million lines
using (var ms = System.IO.File.OpenRead("UncompressedBYWinRAR.csv"))
{
var r = new StreamReader(ms);
while (!r.EndOfStream)
{
r.ReadLine();
csvCount++;
}
}
var zipNet = 0;
//Zip.Net throws this error half way through at around line 34million
//"Destination array was not long enough. Check destIndex and length, and the array's lower bounds."
using (System.IO.Stream input = System.IO.File.OpenRead(filename))
using (Stream decompressor = new Ionic.Zlib.GZipStream(input, Ionic.Zlib.CompressionMode.Decompress, true))
using (var r = new StreamReader(decompressor))
{
while (!r.EndOfStream)
{
r.ReadLine();
zipNet++;
}
}