86

在 Python 中是否有一种标准方法来规范化 unicode 字符串，以便它只理解可用于表示它的最简单的 unicode 实体？

['LATIN SMALL LETTER A', 'COMBINING ACUTE ACCENT']我的意思是，可以将序列翻译成的东西['LATIN SMALL LETTER A WITH ACUTE']？

看看问题出在哪里：

>>> import unicodedata
>>> char = "á"
>>> len(char)
1
>>> [ unicodedata.name(c) for c in char ]
['LATIN SMALL LETTER A WITH ACUTE']

但现在：

>>> char = "á"
>>> len(char)
2
>>> [ unicodedata.name(c) for c in char ]
['LATIN SMALL LETTER A', 'COMBINING ACUTE ACCENT']

当然，我可以遍历所有字符并进行手动替换等，但效率不高，而且我很确定我会错过一半的特殊情况并犯错误。

4

2 回答 2

120

unicodedata模块提供一个.normalize()功能，你想标准化为NFC格式。使用相同的示例U+0061 LATIN SMALL LETTER-您使用的U+0301 A COMBINING ACUTE ACCENT组合和U+00E1 LATIN SMALL LETTER A WITH ACUTE代码点：

>>> print(ascii(unicodedata.normalize('NFC', '\u0061\u0301')))
'\xe1'
>>> print(ascii(unicodedata.normalize('NFD', '\u00e1')))
'a\u0301'

（我在这里使用该ascii()函数来确保使用转义语法打印非 ASCII 代码点，从而使差异清晰）。

NFC，或“Normal Form Composed”返回组合字符，NFD，“Normal Form Decomposed”为您提供分解的组合字符。

附加的 NFKC 和 NFKD 形式处理兼容性代码点；egU+2160 ROMAN NUMERAL ONE实际上与 Unicode 标准中的相同，U+0049 LATIN CAPITAL LETTER I但存在于 Unicode 标准中，以保持与分别处理它们的编码兼容。使用 NFKC 或 NFKD 形式，除了组合或分解字符外，还将用它们的规范形式替换所有“兼容”字符。

这是使用代码点的示例U+2167 ROMAN NUMERAL EIGHT；使用 NFKC 形式将其替换为 ASCIIV和I字符序列：

>>> unicodedata.normalize('NFC', '\u2167')
'Ⅷ'
>>> unicodedata.normalize('NFKC', '\u2167')
'VIII'

请注意，不能保证组合形式和分解形式是可交换的；将组合字符规范化为 NFC 形式，然后将结果转换回 NFD 形式并不总是会产生相同的字符序列。Unicode 标准维护了一个例外列表；由于各种原因，此列表中的字符是可组合的，但不能分解回它们的组合形式。另请参阅有关成分排除表的文档。

于 2013-05-09T17:23:37.403 回答
8

是的，有。

unicodedata.normalize(form, unistr)

您需要从四种规范化形式中选择一种。

于 2013-05-09T17:23:29.270 回答