5

我正在尝试使用 python3 和 BeautifulSoup从http://flight.qunar.com/抓取机票信息（包括飞机信息和价格信息等） 。下面是我正在使用的 python 代码。在这段代码中，我试图在 2012 年 7 月 25 日从北京（北京）到丽江（丽江）抓取航班信息。

import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
url = 'http://flight.qunar.com/site/oneway_list.htm'
values = {'searchDepartureAirport':'北京', 'searchArrivalAirport':'丽江', 'searchDepartureTime':'2012-07-25'}
encoded_param = urllib.parse.urlencode(values)
full_url = url + '?' + encoded_param
response = urllib.request.urlopen(full_url)
soup = BeautifulSoup(response)
print(soup.prettify())

我得到的是提交请求后的初始页面，该页面仍在加载搜索结果。我想要的是完成加载搜索结果后的最后一页。那么如何使用 python 实现这个目标呢？

4

1 回答 1

7

这个问题实际上是相当困难的——该站点使用通过 JavaScript 加载的动态生成的内容，但是urllib基本上只能在禁用 JavaScript 的情况下获得您在浏览器中获得的内容。所以，我们能做些什么？

采用

完全呈现网页（它们本质上是用于测试和抓取的无头自动浏览器）

或者，如果您想要（半）纯 Python 解决方案，请使用PyQt4.QtWebKit来呈现页面。它的工作原理大致如下：

import sys
import signal

from optparse import OptionParser
from PyQt4.QtCore import *
from PyQt4.QtGui import *
from PyQt4.QtWebKit import QWebPage

url = "http://www.stackoverflow.com"

def page_to_file(page):
    with open("output", 'w') as f:
        f.write(page.mainFrame().toHtml())
        f.close()

app = QApplication()
page = QWebPage()
signal.signal( signal.SIGINT, signal.SIG_DFL )
page.connect(page, SIGNAL( 'loadFinished(bool)' ), page_to_file)
page.mainFrame().load(QUrl(url))
sys.exit( app.exec_() )

编辑：这里有一个很好的解释这是如何工作的。

Ps：您可能想查看请求而不是使用urllib:)

于 2012-07-25T11:01:21.320 回答