10

我试图最终解决一些从尝试使用 lxml 抓取 HTML 时弹出的编码问题。以下是我遇到的三个示例 HTML 文档：

1.

<!DOCTYPE html>
<html lang='en'>
<head>
   <title>Unicode Chars: 은 —’&lt;/title>
   <meta charset='utf-8'>
</head>
<body></body>
</html>

2.

<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ko-KR" lang="ko-KR">
<head>
    <title>Unicode Chars: 은 —’&lt;/title>
    <meta http-equiv="content-type" content="text/html; charset=utf-8" />
</head>
<body></body>
</html>

3.

<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE html
PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>Unicode Chars: 은 —’&lt;/title>
</head>
<body></body>
</html>

我的基本脚本：

from lxml.html import fromstring
...

doc = fromstring(raw_html)
title = doc.xpath('//title/text()')[0]
print title

结果是：

Unicode Chars: ì ââ
Unicode Chars: 은 —’
Unicode Chars: 은 —’

因此，显然是样本 1 和缺少<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />标签的问题。此处的解决方案将正确地将示例 1 识别为 utf-8，因此它在功能上等同于我的原始代码。

lxml 文档出现冲突：

从这里的示例似乎建议我们应该使用 UnicodeDammit 将标记编码为 un​​icode。

from BeautifulSoup import UnicodeDammit

def decode_html(html_string):
    converted = UnicodeDammit(html_string, isHTML=True)
    if not converted.unicode:
        raise UnicodeDecodeError(
            "Failed to detect encoding, tried [%s]",
            ', '.join(converted.triedEncodings))
    # print converted.originalEncoding
    return converted.unicode

root = lxml.html.fromstring(decode_html(tag_soup))

但是这里说：

[Y] 当您尝试 [解析] Unicode 字符串中的 HTML 数据时，您将收到错误，该字符串在标头的元标记中指定字符集。在将 XML/HTML 数据传递给解析器之前，您通常应该避免将其转换为 unicode。它既慢又容易出错。

如果我尝试遵循 lxml 文档中的第一个建议，我的代码现在是：

from lxml.html import fromstring
from bs4 import UnicodeDammit
...
dammit = UnicodeDammit(raw_html)
doc = fromstring(dammit.unicode_markup)
title = doc.xpath('//title/text()')[0]
print title

我现在得到以下结果：

Unicode Chars: 은 —’
Unicode Chars: 은 —’
ValueError: Unicode strings with encoding declaration are not supported.

<?xml version="1.0" encoding="utf-8"?>样本 1 现在可以正常工作，但样本 3 由于标签而导致错误。

有没有正确的方法来处理所有这些情况？有比以下更好的解决方案吗？

dammit = UnicodeDammit(raw_html)
try:
    doc = fromstring(dammit.unicode_markup)
except ValueError:
    doc = fromstring(raw_html)
4

2 回答 2

18

lxml有几个 与处理 Unicode 相关的问题。在明确指定字符编码时最好使用字节（现在）：

#!/usr/bin/env python
import glob
from lxml import html
from bs4 import UnicodeDammit

for filename in glob.glob('*.html'):
    with open(filename, 'rb') as file:
        content = file.read()
        doc = UnicodeDammit(content, is_html=True)

    parser = html.HTMLParser(encoding=doc.original_encoding)
    root = html.document_fromstring(content, parser=parser)
    title = root.find('.//title').text_content()
    print(title)

输出

Unicode Chars: 은 —’
Unicode Chars: 은 —’
Unicode Chars: 은 —’
于 2013-03-08T23:44:05.357 回答
3

问题可能源于这<meta charset>是一个相对较新的标准（如果我没记错的话，HTML5，或者它之前并没有真正使用过。）

在lxml.html更新库以反映它之前，您将需要特别处理这种情况。

如果您只关心 ISO-8859-* 和 UTF-8，并且可以舍弃不兼容 ASCII 的编码（例如 UTF-16 或东亚传统字符集），则可以对字节进行正则表达式替换字符串，用<meta charset>旧格式替换新http-equiv格式。

否则，如果您需要适当的解决方案，最好的办法是自己修补库（并在您使用它时提供修复。）您可能想询问 lxml 开发人员是否有任何半生不熟的代码这个特定的错误，或者他们是否首先在他们的错误跟踪系统上跟踪错误。

于 2013-03-08T23:34:02.433 回答