2

我正在尝试解析http://www.olx.pt/carros-cat-378-p-1。通过更改 url 中的最后一个数字，我可以遍历页面。该页面在元标记的 Content-Type 中指定 ISO-8859-1。因此，我在 from_encoding 参数中告诉 BeautifulSoup。

但是，时不时地，在执行 find_all 时，我会得到一个零长度的结果集。检查汤，我发现一切都乱码了。当我得到一个零结果集并切换到不同的字符集时，我试图捕捉到，例如 cp1252 和 latin1。

我认为所有的 HTML 都会出现乱码，而且只是偶尔出现乱码，这真的很奇怪。我还认为，当这种情况发生时，我无法弄清楚正在使用哪个字符集，这甚至真的很奇怪。有谁知道这里会发生什么？

代码

import mechanize
import cookielib
from bs4 import BeautifulSoup


def getNewBrowser():
    # create browser instance
    b = mechanize.Browser()

    # create a cookiejar for cookies
    jar = cookielib.LWPCookieJar()
    b.set_cookiejar(jar)

    # prevent mechanize from simulating a 403 disallow
    b.set_handle_robots(False)

    # handle some other stuff
    b.set_handle_equiv(True)
    #b.set_handle_gzip(True)
    b.set_handle_redirect(True)
    b.set_handle_referer(True)

    # follows refresh 0 but not hangs on refresh >0
    b.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

    # want debugging messages?
    #br.set_debug_http(True)
    #br.set_debug_redirects(True)
    #br.set_debug_responses(True)

    # User-Agent
    b.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0')]
    return b



def run():
    b = getNewBrowser()
    url = "http://www.olx.pt/carros-cat-378-p-"
    n = 100
    for i in range(1,n):
        urlt = url + str(i)
        b.open(urlt, timeout = 10.0)
        soup = BeautifulSoup(b.response(), from_encoding="ISO-8859-1")
        print "--------------------------------------------------------------------"
        print "page: " + str(i)
        print "--------------------------------------------------------------------"
        print soup


if __name__ == '__main__':
    run()
4

1 回答 1

0

您可以使用 replace() 将页面内容中声明的编码替换为“utf-8”。这有点骇人听闻，但这对我有用。

在将页面内容传递给 BeautifulSoup 之前：

page_content.replace('charset="ISO-8859-1"','charset=utf-8')
于 2014-03-14T22:34:11.127 回答