0

我有一个从中文网页中解析出来的字符串：

若き葉末には風が立ち 森は翡翠の息を返す 雲の切れ間から注ぐ 光に君を見初めん

碧き瞳のほほえむとき そは鐘のひびき胸に打つ さしのべた腕に絡む 蔦の葉に君を逃す

残る　香り 水面をかけゆく恋の舟 つかの間の波に　揺られ

やさしき幻影　心に映るその姿よ 永遠なる君に　想いを捧げん

若き葉末には風は眠り 森は密やかに息を止む 抱きしめた腕のなかで 静かに君は消えゆく

月は　満ちて 黄金の羽根が舞いおちる 我はただひとり森に

祈りたまえや

但是在解析它的过程中，它被转换成如下形式的Hex NCR字符串：

若き葉末には風が立ち\n森は翡翠の息を返す\n雲の切れ間から注ぐ\n光に君を見初めん\n\n碧き瞳のほほえむとき\nそは鐘のひびき胸に打つ\nさしのべた腕に絡む\n蔦の葉に君を逃す\n\n残る　香り\n水面をかけゆく恋の舟\nつかの間の波に　揺られ\n\nやさしき幻影　心に映るその姿よ\n永遠なる君に　想いを捧げん\n\n若き葉末には風は眠り\n森は密やかに息を止む\n抱きしめた腕のなかで\n静かに君は消えゆく\n\n月は　満ちて\n黄金の羽根が舞いおちる\n我はただひとり森に\n\n祈りたまえや

我想将此字符串转换为适当的 unicode 格式。

根据我的研究，我已经能够收集到例如一映射到 unicode string 的信息b'\\u4e00'。

这可以通过在字符串的开头剥离&#x和前缀 a以及使整个内容小写并通过在字符串之前添加 a 转换为字节字符串来手动完成。这是在这个repo中完成的，但是通过代码使用低效的 eval 函数，例如.\\ubeval("b'\\u4e00")

[编辑：上述段落不正确。它不是字节串，而是 python2 中存在的 unicode 字符串。正确的映射是一-> u'\u4e00']

有一个更好的方法吗？考虑到这些十六进制映射字符串可以出现在常规文本中间的边缘情况，例如：

Je me levais tôt
Travailler en homme
Je me souviens du goût
Du café brûlant
Dans la tasse rouge
Et la femme qui dort
Les portes ouvertes de la grande usine
Bouffaient nos fils le jour de leurs quinze ans
On se levait tôt
Sortis de nos draps
On se retrouvait en bas
Les rues du village s'allumaient d'un coup
A six heures moins le quart
Les portes ouvertes de la grande usine
Bouffaient nos fils bien avant leurs quinze ans
On se lève trop tôt
On sait plus quoi faire
Dans le café des vieux
Les mains dans nos poches
Cachent nos poings noirs
Y'a plus qu'à qui change pas
Les portes sont fermées
Y'a plus de feu qui gronde
L'usine a tout vomi d'un seul coup
Pourquoi on fait ça
Pourquoi ça m'fait ça
Pourquoi on nous fait ça à nous

我正在处理大量数据，其中这些字符可以散布在任何地方，我需要一种有意义的方式来处理它们。

那么有没有更好的方法来做到这一点？理想情况下，python 本身就支持它。

如果有人在这里解决我的问题，我将不胜感激。提前致谢。

4

1 回答 1

2

查看html标准库中的模块：

>>> import html
>>> html.unescape('Je me levais tôt')
'Je me levais tôt'
>>> html.unescape('若き葉末には')
'若き葉末には'

结果是一个 Unicode 字符串（str在 Python 3 中键入）。请注意，该b'...'符号用于字节字符串。您的示例中的文字b'\\u4e00'没有多大意义，因为它是一个包含 6 个字符（\、u、4、e、0、0）的字节字符串。您可能指的是'\u4e00'（或u'\u4e00'在 Python 2 中），它是一个单字符 Unicode 字符串。

于 2019-02-15T11:09:11.340 回答