我正在尝试计算/验证压缩 bzip2 档案的 CRC32 校验和。
.magic:16 = 'BZ' signature/magic number
.version:8 = 'h' for Bzip2 ('H'uffman coding)
.hundred_k_blocksize:8 = '1'..'9' block-size 100 kB-900 kB
.compressed_magic:48 = 0x314159265359 (BCD (pi))
.crc:32 = checksum for this block
...
...
.eos_magic:48 = 0x177245385090 (BCD sqrt(pi))
.crc:32 = checksum for whole stream
.padding:0..7 = align to whole byte
http://en.wikipedia.org/wiki/Bzip2
所以我知道 CRC 校验和在 bz2 文件中的位置,但我将如何验证它们。我应该binascii.crc32()
获得哪些 CRC?我已经尝试逐字节计算各种块的 CRC,但没有设法得到匹配。
谢谢你。我将研究 bzip2 源代码和bz2
Python 库代码,可能会找到一些东西,尤其是在decompress()
方法中。
更新1:
据我所知,块头由以下标签标识。但是微小的 bz2 文件不包含 ENDMARK 文件。(感谢adw,我们发现应该寻找 ENDMARK 的位移位值,因为压缩数据没有填充到字节。)
#define BLOCK_HEADER_HI 0x00003141UL
#define BLOCK_HEADER_LO 0x59265359UL
#define BLOCK_ENDMARK_HI 0x00001772UL
#define BLOCK_ENDMARK_LO 0x45385090UL
这是从bzlib2recover.c
源头开始的,块似乎总是从第 80 位开始,就在 CRC 校验和之前,应该从 CRC 计算中省略,因为不能将自己的 CRC CRC 为相同的 CRC(你明白我的意思) .
searching for block boundaries ...
block 1 runs from 80 to 1182
查看计算这个的代码。
更新 2:
bzlib2recover.c
没有CRC计算功能,它只是从损坏的文件中复制CRC。但是,我确实设法在 Python 中复制了块计算器功能,以标记bz2
压缩文件中每个块的开始和结束位。回到正轨,我发现它compress.c
指的是bzlib_private.h
.
#define BZ_INITIALISE_CRC(crcVar) crcVar = 0xffffffffL;
#define BZ_FINALISE_CRC(crcVar) crcVar = ~(crcVar);
#define BZ_UPDATE_CRC(crcVar,cha) \
{ \
crcVar = (crcVar << 8) ^ \
BZ2_crc32Table[(crcVar >> 24) ^ \
((UChar)cha)]; \
}
这些定义也被访问bzlib.c
,s->blockCRC
在 中初始化和更新,在 中bzlib.c
完成compress.c
。有超过 2000 行 C 代码,这需要一些时间来查看并弄清楚哪些内容可以输入,哪些内容不可以。我也将C
标签添加到问题中。
顺便说一下,这里是 bzip2 的 C 源代码http://www.bzip.org/1.0.6/bzip2-1.0.6.tar.gz
更新 3:
原来bzlib2
块 CRC32 是使用以下算法计算的:
dataIn
是要编码的数据。
crcVar = 0xffffffff # Init
for cha in list(dataIn):
crcVar = crcVar & 0xffffffff # Unsigned
crcVar = ((crcVar << 8) ^ (BZ2_crc32Table[(crcVar >> 24) ^ (ord(cha))]))
return hex(~crcVar & 0xffffffff)[2:-1].upper()
其中 BZ2_crc32Table 定义在crctable.c
对于dataIn = "justatest"
返回的 CRC 7948C8CB
,使用该数据压缩文本文件后,bz2 文件中的 crc:32 校验和79 48 c8 cb
是匹配的。
结论:
bzlib2 CRC32 是(引用crctable.c
)
由 Rob Warnock 在 comp.compression FAQ 的第 51 节中模糊地派生出来...
...因此,据我了解,不能使用标准 CRC32 校验和计算器预先计算/验证,而是需要bz2lib
实现(第 155-172 行bzlib_private.h
)。