我想从 CHP 网站获取交通事故数据:https ://cad.chp.ca.gov/Traffic.aspx
左上角有一个简单的表格,用户可以在其中选择一个县,然后出现该县的交通事故表。
我正在使用 MechanicalSoup 提交表单,但我收到的请求不包括流量数据表。您可以在上面的链接中自己尝试一下,然后查看我要抓取的表格。
这是我的代码:
import mechanicalsoup
browser = mechanicalsoup.Browser()
front_page = browser.get('https://cad.chp.ca.gov/Traffic.aspx')
# Grab the login form
county_form = front_page.soup.select("#form1")[0]
# Set the county in the form
county_form.select('#ddlComCenter')[0]['value'] = 'LACC' # LACC is the code for Los Angeles
# Submit the form
page2 = browser.submit(county_form, front_page.url)
# View the response
print(page2.soup)
该page2.soup
对象包含大部分页面,但不包含您“手动”提交表单时看到的表格。
我错过了什么吗?