python - 如何检测字符串字节编码？

Question

我已经读取了大约 1000 个文件名os.listdir()，其中一些以 UTF8 编码，一些是 CP1252。

我想将它们全部解码为 Unicode，以便在我的脚本中进行进一步处理。有没有办法让源编码正确解码为 Unicode？

例子：

for item in os.listdir(rootPath):

    #Convert to Unicode
    if isinstance(item, str):
        item = item.decode('cp1252')  # or item = item.decode('utf-8')
    print item

Answer 1

使用 chardet 库。超级简单

import chardet

the_encoding = chardet.detect('your string')['encoding']

就是这样！

在 python3 中，您需要提供类型 bytes 或 bytearray 所以：

import chardet
the_encoding = chardet.detect(b'your string')['encoding']

Answer 2

如果您的文件位于cp1252和中utf-8，那么有一个简单的方法。

import logging
def force_decode(string, codecs=['utf8', 'cp1252']):
    for i in codecs:
        try:
            return string.decode(i)
        except UnicodeDecodeError:
            pass

    logging.warn("cannot decode url %s" % ([string]))

for item in os.listdir(rootPath):
    #Convert to Unicode
    if isinstance(item, str):
        item = force_decode(item)
    print item

否则，有一个字符集检测库。

Python - 检测字符集并转换为 utf-8

https://pypi.python.org/pypi/chardet

Answer 3

您还可以使用json包来检测编码。

import json

json.detect_encoding(b"Hello")

Answer 4

chardet检测到的编码可以毫无例外地用于解码字节数组，但输出字符串可能不正确。

该try ... except ...方式非常适用于已知编码，但不适用于所有场景。

我们可以try ... except ...先使用，然后chardet作为 B 计划：

    def decode(byte_array: bytearray, preferred_encodings: List[str] = None):
        if preferred_encodings is None:
            preferred_encodings = [
                'utf8',       # Works for most cases
                'cp1252'      # Other encodings may appear in your project
            ]

        for encoding in preferred_encodings:
            # Try preferred encodings first
            try:
                return byte_array.decode(encoding)
            except UnicodeDecodeError:
                pass
        else:
            # Use detected encoding
            encoding = chardet.detect(byte_array)['encoding']
            return byte_array.decode(encoding)