php - 如何找到大文件的crc32？

Question

PHP 的 crc32 支持字符串作为输入。对于文件，下面的代码将适用于 OFC。

crc32(file_get_contents("myfile.CSV"));

但是如果文件变大（2 GB），它可能会引发内存不足的致命错误。

那么有什么办法可以找到大文件的校验和吗？

Answer 1

PHP 不支持大于 2GB 的文件（32 位限制）

从文件中计算 crc32 的更有效方法：

$hash = hash_file('crc32b',"myfile.CSV" );

Answer 2

这个函数在用户贡献的注释中crc32()声称可以在不完整加载文件的情况下计算值。如果它工作正常，它应该消除任何内存问题。

但是，对于大于 2 GB 的文件，它可能会停止在您现在遇到的相同 32 位限制。

如果可能的话，我会调用一个外部工具来计算与手头一样大的文件的校验和。

Answer 3

dev-null-dweller的答案是 IMO 要走的路。

但是，对于那些正在寻找内存高效的 PHP4 反向移植的人hash_file('crc32b', $filename);来说，这里有一个基于此 PHP 手册注释的解决方案，并进行了一些改进：

• 它现在给出的结果与hash_file()
• 它支持 32 位和 64 位架构。

警告：性能很难看。试图改进。

注意：我已经尝试了一个基于来自 zaf 评论的 C 源代码的解决方案，但我不能很快成功地将它移植到 PHP。

if (!function_exists('hash_file'))
{
    define('CRC_BUFFER_SIZE', 8192);

    function hash_file($algo, $filename, $rawOutput = false)
    {
        $mask32bit = 0xffffffff;

        if ($algo !== 'crc32b')
        {
            trigger_error("Unsupported hashing algorightm '".$algo."'", E_USER_ERROR);
            exit;
        }

        $fp = fopen($filename, 'rb');

        if ($fp === false)
        {
            trigger_error("Could not open file '".$filename."' for reading.", E_USER_ERROR);
            exit;
        }

        static $CRC32Table, $Reflect8Table;
        if (!isset($CRC32Table))
        {
            $Polynomial = 0x04c11db7;
            $topBit = 1 << 31;

            for($i = 0; $i < 256; $i++)
            {
                $remainder = $i << 24;
                for ($j = 0; $j < 8; $j++)
                {
                    if ($remainder & $topBit)
                        $remainder = ($remainder << 1) ^ $Polynomial;
                    else
                        $remainder = $remainder << 1;

                    $remainder &= $mask32bit;
                }

                $CRC32Table[$i] = $remainder;

                if (isset($Reflect8Table[$i]))
                    continue;
                $str = str_pad(decbin($i), 8, '0', STR_PAD_LEFT);
                $num = bindec(strrev($str));
                $Reflect8Table[$i] = $num;
                $Reflect8Table[$num] = $i;
            }
        }

        $remainder = 0xffffffff;
        while (!feof($fp))
        {
            $data = fread($fp, CRC_BUFFER_SIZE);
            $len = strlen($data);
            for ($i = 0; $i < $len; $i++)
            {
                $byte = $Reflect8Table[ord($data[$i])];
                $index = (($remainder >> 24) & 0xff) ^ $byte;
                $crc = $CRC32Table[$index];
                $remainder = (($remainder << 8) ^ $crc) & $mask32bit;
            }
        }

        $str = decbin($remainder);
        $str = str_pad($str, 32, '0', STR_PAD_LEFT);
        $remainder = bindec(strrev($str));
        $result = $remainder ^ 0xffffffff;
        return $rawOutput ? strrev(pack('V', $result)) : dechex($result);
    }
}