2

我对奇怪的转义 unicode 字符串有一些问题。我的脚本通过请求库使用 Web 服务，并且 response.text 包含以下 unicode 字符串： 

 u'\\u003c? abc ?\\u003eDas Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von \xd6kosystemen abgeleitet.\\u003c? /abc ?\\u003e'

 **Updated** Martijn solution works with the upper one, but breaks with this one because of len="12"
 u'\\u003c?abc len="12"?\\u003eResilienz sollte als st\xe4ndiger Anpassungsprozess zwischen Systemen und der Umwelt begriffen werden.\\u003c? /abc ?\\u003e'

服务器的响应如下所示：

\u003c? abc ?\u003eDas Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von Ökosystemen abgeleitet.\u003c?dpf /sent ?\u003e

问题是双重转义的 unicode 序列，如 \u003c，\u003c 通常表示 < char。\xd6 是正确的，代表一个德语 Ö。这种双重转义完全弄乱了我的 unicode 字符串:-)

我在这篇文章中发现了一个类似的问题： Stack Overflow - Conversion of strings like \uXXXX in python

使用 string.decode('unicode-escape') 的解决方案似乎只有在所有 unicode 序列都被转义但不能混合单双转义的情况下才有效。只需用单个转义符替换双重转义符就会给我一个损坏的 unicode 字符串。

最简单和最好的解决方案是调整服务器端的响应编码，但我无权访问......

谢谢你的帮助！！！

4

1 回答 1

6

我怀疑服务器正在返回 JSON 字符串。JSON 使用相同的转义序列，如果您在字符串周围添加引号，json.loads()则非常乐意为您解码该示例：

>>> txt = u'\\u003c? abc ?\\u003eDas Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von \xd6kosystemen abgeleitet.\\u003c? /abc ?\\u003e'
>>> content = txt.encode('utf8')
>>> content
'\\u003c? abc ?\\u003eDas Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von \xc3\x96kosystemen abgeleitet.\\u003c? /abc ?\\u003e'
>>> import json
>>> json.loads('"{0}"'.format(content))
u'<? abc ?>Das Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von \xd6kosystemen abgeleitet.<? /abc ?>'
>>> print json.loads('"{0}"'.format(content))
<? abc ?>Das Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von Ökosystemen abgeleitet.<? /abc ?>

尝试使用json.loads('"{0}"'.format(response.content))来解码对 Unicode 的响应。

您的更新版本确实包含引号，有点令人烦恼，因为必须对这些引号进行转义才能在有效的 JSON 中使用。那么它可能不是 JSON，而是某种其他形式的转义；Java 和 Ruby 也使用\uxxxx转义。接下来我们可以尝试使用正则表达式来替换这些：

import re

uescapes = re.compile(r'(?<!\\)\\u[0-9a-fA-F]{4}', re.UNICODE)
def uescape_decode(match): return match.group().decode('unicode_escape')

uescapes.sub(uescape_decode, response.text)

这个正则表达式会将任何\uxxxx匹配解码为其等效的 unicode 字符，前提是它前面没有 a \，它有效地转义了转义；\\uxxxx不会被替换。

正则表达式方法对您的两个示例进行解码（首先解码第二个）：

>>> print uescapes.sub(uescape_decode, txt)
<?abc len="12"?>Resilienz sollte als ständiger Anpassungsprozess zwischen Systemen und der Umwelt begriffen werden.<? /abc ?>
>>> print uescapes.sub(uescape_decode, u'\\u003c? abc ?\\u003eDas Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von \xd6kosystemen abgeleitet.\\u003c? /abc ?\\u003e')
<? abc ?>Das Modell des Adaptiven Zyklus wurde aus vergleichenden Untersuchungen zur Dynamik von Ökosystemen abgeleitet.<? /abc ?>
于 2012-12-17T16:41:51.963 回答