python - 使用 PyQuery 要求网页按邮政编码搜索结果

Question

我比较新来爬取数据。

现在我必须使用 Pyquery 通过网站上的邮政编码来抓取美国的学校信息， http://www.greatschools.org/find-schools

每次输入邮政编码时，搜索页面的 URL 都非常复杂。我认为 Pyquery 很难编写这种 url。

例如，当我输入邮政编码 95113 时，结果页面的 url 为 http://www.greatschools.org/search/search.page?lat=37.3326639&lon=-121.89183639999999&state=CA&locationType=postal_code&sortBy =DISTANCE&normalizedAddress=San+Jose%2C+CA+95113&totalResults=1&city=San+Jose&zipCode=95113&locationSearchString=95113&distance=5

我的问题：如果我想从结果页面抓取数据，我该如何使用 Pyquery 获取结果页面？貌似我可以通过编程来制作搜索结果的url，但是创建的时间太长，而且要搜索的邮政编码有数千个。

有没有更好的解决方案？

Answer 1

您可以使用：

PyQuery(url='http://')

然后报废：

for a in doc('a').items():
    PyQuery(url=a.attr.href)