我正在与一个服务器连接,该服务器需要使用Deflate算法(霍夫曼编码 + LZ77)压缩发送给它的数据,并且还发送我需要的数据到Inflate。
我知道 Python 包含 Zlib,并且 Zlib 中的 C 库支持对Inflate和Deflate的调用,但这些显然不是由 Python Zlib 模块提供的。它确实提供了Compress和Decompress,但是当我拨打如下电话时:
result_data = zlib.decompress( base64_decoded_compressed_string )
我收到以下错误:
Error -3 while decompressing data: incorrect header check
Gzip 也好不到哪里去;拨打电话时,例如:
result_data = gzip.GzipFile( fileobj = StringIO.StringIO( base64_decoded_compressed_string ) ).read()
我收到错误:
IOError: Not a gzipped file
这是有道理的,因为数据是压缩文件而不是真正的Gzipped文件。
现在我知道有可用的Deflate实现(Pyflate),但我不知道Inflate实现。
似乎有几个选择:
- 在 Python中查找Inflate和Deflate的现有实现(理想)
- 为包含Inflate和Deflate的 zlib c 库编写我自己的 Python 扩展
- 调用可以从命令行执行的其他东西(例如 Ruby 脚本,因为zlib 中的Inflate / Deflate调用完全包含在 Ruby 中)
- ?
我正在寻找解决方案,但缺乏解决方案,我会感谢您的见解、建设性意见和想法。
附加信息:出于我需要的目的,对字符串进行压缩(和编码)的结果应该与以下 C# 代码片段给出相同的结果,其中输入参数是对应于要压缩的数据的 UTF 字节数组:
public static string DeflateAndEncodeBase64(byte[] data)
{
if (null == data || data.Length < 1) return null;
string compressedBase64 = "";
//write into a new memory stream wrapped by a deflate stream
using (MemoryStream ms = new MemoryStream())
{
using (DeflateStream deflateStream = new DeflateStream(ms, CompressionMode.Compress, true))
{
//write byte buffer into memorystream
deflateStream.Write(data, 0, data.Length);
deflateStream.Close();
//rewind memory stream and write to base 64 string
byte[] compressedBytes = new byte[ms.Length];
ms.Seek(0, SeekOrigin.Begin);
ms.Read(compressedBytes, 0, (int)ms.Length);
compressedBase64 = Convert.ToBase64String(compressedBytes);
}
}
return compressedBase64;
}
为字符串“deflate and encode me”运行这个 .NET 代码会得到结果
7b0HYBxJliUmL23Ke39K9UrX4HShCIBgEyTYkEAQ7MGIzeaS7B1pRyMpqyqBymVWZV1mFkDM7Z28995777333nvvvfe6O51OJ/ff/z9cZmQBbPbOStrJniGAqsgfP358Hz8iZvl5mbV5mi1nab6cVrM8XeT/Dw==
当“deflate and encode me”通过 Python Zlib.compress() 运行然后 base64 编码时,结果是“eJxLSU3LSSxJVUjMS1FIzUvOT0lVyE0FAFXHB6k=”。
很明显,zlib.compress() 不是与标准 Deflate 算法相同的算法的实现。
更多信息:
.NET deflate 数据(“7b0HY...”)的前 2 个字节,经过 b64 解码后为 0xEDBD,不对应 Gzip 数据(0x1f8b)、BZip2(0x425A)数据或 Zlib(0x789C)数据。
Python 压缩数据(“eJxLS...”)的前 2 个字节,经过 b64 解码后为 0x789C。这是一个 Zlib 标头。
解决了
要在没有标头和校验和的情况下处理原始 deflate 和 inflate,需要进行以下操作:
在放气/压缩:去除前两个字节(标题)和最后四个字节(校验和)。
在膨胀/解压缩:窗口大小有第二个参数。如果此值为负数,它将抑制标头。这是我目前的方法,包括 base64 编码/解码 - 并且工作正常:
import zlib
import base64
def decode_base64_and_inflate( b64string ):
decoded_data = base64.b64decode( b64string )
return zlib.decompress( decoded_data , -15)
def deflate_and_base64_encode( string_val ):
zlibbed_str = zlib.compress( string_val )
compressed_string = zlibbed_str[2:-4]
return base64.b64encode( compressed_string )