10

我正在学习制作网络抓取工具，并想为个人项目抓取 TripAdvisor，使用 urllib2 抓取 html。但是，我遇到了一个问题，使用下面的代码，我返回的 html 不正确，因为页面似乎需要一秒钟才能重定向（您可以通过访问 url 来验证这一点） - 相反，我得到了代码从最初短暂出现的页面。

在获取网站内容之前，是否需要设置一些行为或参数以确保页面已完全完成加载/重定向？

import urllib2
from bs4 import BeautifulSoup

bostonPage = urllib2.urlopen("http://www.tripadvisor.com/HACSearch?geo=34438#02,1342106684473,rad:S0,sponsors:ABEST_WESTERN,style:Szff_6")
soup = BeautifulSoup(bostonPage)
print soup.prettify()

编辑：答案是彻底的，但是，最终解决我的问题的是： https ://stackoverflow.com/a/3210737/1157283

4

1 回答 1

6

最重要的问题不是重定向是页面使用javascript修改内容，但urllib2没有JS引擎它只是GETS数据，如果您在浏览器上禁用javascript，您会注意到它加载的内容与urllib2返回的内容基本相同

import urllib2
from BeautifulSoup import BeautifulSoup

bostonPage = urllib2.urlopen("http://www.tripadvisor.com/HACSearch?geo=34438#02,1342106684473,rad:S0,sponsors:ABEST_WESTERN,style:Szff_6")
soup = BeautifulSoup(bostonPage)
open('test.html', 'w').write(soup.read())

test.html并在浏览器中禁用 JS，在 firefox 内容中最简单 -> 取消选中启用 javascript，生成相同的结果集。

那么我们能做的很好，首先我们应该检查网站是否提供API，报废往往会皱眉 http://www.tripadvisor.com/help/what_type_of_tripadvisor_content_is_available

旅行/酒店 API？ 看起来他们可能会，尽管有一些限制。

但是如果我们仍然需要用JS来抓取它，那么我们可以使用selenium http://seleniumhq.org/它主要用于测试，但它很容易并且有相当好的文档。

我还发现这个启用了 Javascript 的抓取网站？和这个http://grep.codeconsult.ch/2007/02/24/crowbar-scrape-javascript-generated-pages-via-gecko-and-rest/

希望有帮助。

作为旁注：

>>> import urllib2
>>> from bs4 import BeautifulSoup
>>> 
>>> bostonPage = urllib2.urlopen("http://www.tripadvisor.com/HACSearch?geo=34438#02,1342106684473,rad:S0,sponsors:ABEST_WESTERN,style:Szff_6")
>>> value = bostonPage.read()
>>> soup = BeautifulSoup(value)
>>> open('test.html', 'w').write(value)
于 2012-07-12T21:03:16.360 回答