我正在尝试使用 python3 和 BeautifulSoup从http://flight.qunar.com/抓取机票信息(包括飞机信息和价格信息等) 。下面是我正在使用的 python 代码。在这段代码中,我试图在 2012 年 7 月 25 日从北京(北京)到丽江(丽江)抓取航班信息。
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
url = 'http://flight.qunar.com/site/oneway_list.htm'
values = {'searchDepartureAirport':'北京', 'searchArrivalAirport':'丽江', 'searchDepartureTime':'2012-07-25'}
encoded_param = urllib.parse.urlencode(values)
full_url = url + '?' + encoded_param
response = urllib.request.urlopen(full_url)
soup = BeautifulSoup(response)
print(soup.prettify())
我得到的是提交请求后的初始页面,该页面仍在加载搜索结果。我想要的是完成加载搜索结果后的最后一页。那么如何使用 python 实现这个目标呢?