76

我正在做一些网页抓取，网站经常使用 HTML 实体来表示非 ascii 字符。Python 是否有一个实用程序可以接收带有 HTML 实体的字符串并返回 unicode 类型？

例如：

我回来了：

ǎ

代表一个带声调的“ǎ”。在二进制中，这表示为 16 位 01ce。我想将 html 实体转换为值 u'\u01ce'

4

10 回答 10

60

Python 有htmlentitydefs模块，但它不包括对 HTML 实体进行转义的函数。

Python 开发人员 Fredrik Lundh（elementtree 的作者等）在他的网站上有这样一个函数，它适用于十进制、十六进制和命名实体：

import re, htmlentitydefs

##
# Removes HTML or XML character references and entities from a text string.
#
# @param text The HTML (or XML) source text.
# @return The plain text, as a Unicode string, if necessary.

def unescape(text):
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return unichr(int(text[3:-1], 16))
                else:
                    return unichr(int(text[2:-1]))
            except ValueError:
                pass
        else:
            # named entity
            try:
                text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)
于 2008-09-12T01:40:41.390 回答
60

标准库自己的 HTMLParser 有一个未记录的函数 unescape() ，它完全按照你的想法做：

直到 Python 3.4： 

import HTMLParser
h = HTMLParser.HTMLParser()
h.unescape('© 2010') # u'\xa9 2010'
h.unescape('© 2010') # u'\xa9 2010'

Python 3.4+：

import html
html.unescape('© 2010') # u'\xa9 2010'
html.unescape('© 2010') # u'\xa9 2010'
于 2012-09-27T05:34:44.200 回答
18

使用内置unichr- BeautifulSoup 不是必需的：

>>> entity = '&#x01ce'
>>> unichr(int(entity[3:],16))
u'\u01ce'
于 2008-09-11T23:09:08.710 回答
17

如果您使用的是 Python 3.4 或更高版本，则可以简单地使用html.unescape：

import html

s = html.unescape(s)
于 2014-12-11T14:12:00.520 回答
16

另一种选择，如果你有 lxml：

>>> import lxml.html
>>> lxml.html.fromstring('&#x01ce').text
u'\u01ce'
于 2012-02-09T18:55:48.347 回答
8

您可以在这里找到答案——从网页中获取国际字符？

编辑：似乎BeautifulSoup不转换以十六进制形式编写的实体。可以修复：

import copy, re
from BeautifulSoup import BeautifulSoup

hexentityMassage = copy.copy(BeautifulSoup.MARKUP_MASSAGE)
# replace hexadecimal character reference by decimal one
hexentityMassage += [(re.compile('&#x([^;]+);'), 
                     lambda m: '&#%d;' % int(m.group(1), 16))]

def convert(html):
    return BeautifulSoup(html,
        convertEntities=BeautifulSoup.HTML_ENTITIES,
        markupMassage=hexentityMassage).contents[0].string

html = '<html>&#x01ce;&#462;</html>'
print repr(convert(html))
# u'\u01ce\u01ce'

编辑：

unescape()@dF提到的函数使用 htmlentitydefs标准模块，unichr()在这种情况下可能更合适。

于 2008-09-11T21:52:28.833 回答
5

这是一个可以帮助您正确处理并将实体转换回 utf-8 字符的函数。

def unescape(text):
   """Removes HTML or XML character references 
      and entities from a text string.
   @param text The HTML (or XML) source text.
   @return The plain text, as a Unicode string, if necessary.
   from Fredrik Lundh
   2008-01-03: input only unicode characters string.
   http://effbot.org/zone/re-sub.htm#unescape-html
   """
   def fixup(m):
      text = m.group(0)
      if text[:2] == "&#":
         # character reference
         try:
            if text[:3] == "&#x":
               return unichr(int(text[3:-1], 16))
            else:
               return unichr(int(text[2:-1]))
         except ValueError:
            print "Value Error"
            pass
      else:
         # named entity
         # reescape the reserved characters.
         try:
            if text[1:-1] == "amp":
               text = "&amp;amp;"
            elif text[1:-1] == "gt":
               text = "&amp;gt;"
            elif text[1:-1] == "lt":
               text = "&amp;lt;"
            else:
               print text[1:-1]
               text = unichr(htmlentitydefs.name2codepoint[text[1:-1]])
         except KeyError:
            print "keyerror"
            pass
      return text # leave as is
   return re.sub("&#?\w+;", fixup, text)
于 2009-02-21T19:45:58.123 回答
3

不知道为什么堆栈溢出线程不包含';' 在搜索/替换中（即 lambda m: '&#%d* ; *'） 39 停电）。

这对我来说效果更好：

import re
from BeautifulSoup import BeautifulSoup

html_string='<a href="/cgi-bin/article.cgi?f=/c/a/2010/12/13/BA3V1GQ1CI.DTL"title="">&#x27;Blackout in a can; on some shelves despite ban</a>'

hexentityMassage = [(re.compile('&#x([^;]+);'), 
lambda m: '&#%d;' % int(m.group(1), 16))]

soup = BeautifulSoup(html_string, 
convertEntities=BeautifulSoup.HTML_ENTITIES, 
markupMassage=hexentityMassage)
  1. int(m.group(1), 16) 将数字（以 base-16 指定）格式转换回整数。
  2. m.group(0) 返回整个匹配，m.group(1) 返回正则表达式捕获组
  3. 基本上使用 markupMessage 是一样的：
    html_string = re.sub('&#x([^;]+);', lambda m: '&#%d;' % int(m.group(1), 16) , html_string)
于 2010-12-14T11:52:26.177 回答
1

另一个解决方案是内置库 xml.sax.saxutils（用于 html 和 xml）。但是，它只会转换 >、& 和 <。

from xml.sax.saxutils import unescape

escaped_text = unescape(text_to_escape)
于 2015-11-02T20:28:35.620 回答
0

这是dF 答案的 Python 3 版本：

import re
import html.entities

def unescape(text):
    """
    Removes HTML or XML character references and entities from a text string.

    :param text:    The HTML (or XML) source text.
    :return:        The plain text, as a Unicode string, if necessary.
    """
    def fixup(m):
        text = m.group(0)
        if text[:2] == "&#":
            # character reference
            try:
                if text[:3] == "&#x":
                    return chr(int(text[3:-1], 16))
                else:
                    return chr(int(text[2:-1]))
            except ValueError:
                pass
        else:
            # named entity
            try:
                text = chr(html.entities.name2codepoint[text[1:-1]])
            except KeyError:
                pass
        return text # leave as is
    return re.sub("&#?\w+;", fixup, text)

主要的变化关注htmlentitydefs的是现在html.entities和unichr现在chr。请参阅此Python 3 移植指南。

于 2015-12-25T13:55:16.170 回答