0

我正在尝试抓取tripadvisor。假设我想删除这家特定酒店的差评：

http://www.tripadvisor.com/Hotel_Review-g31441-d224344-Reviews-Hilton_Garden_Inn_Bentonville-Bentonville_Arkansas.html#REVIEWS

我只想要“可怕”类别，并且此选择/过滤应由 html 表单控制。我打算发送一个帖子请求以提交表单。我最初想使用 mechanize 模块中的 br.submit() ，但后来发现它不支持 javascript。所以我希望使用发布请求来绕过javascript。

但是当我使用mechanize查看相关控件时，单选按钮具有相同的值。这是我的代码：

br = mechanize.Browser()
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
br.open("http://www.tripadvisor.com/Hotel_Review-g31441-d224344-Reviews-Hilton_Garden_Inn_Bentonville-Bentonville_Arkansas.html#REVIEWS")

for f in br.forms():
    print f

这是其中的相关表单和控件：

 <POST http://www.tripadvisor.com/SortReviews#REVIEWS application/x-www-form-urlencoded
   <RadioControl(segRdo=[on, on, on, on, on])>
   <RadioControl(comRdo=[on, on, on, on, on])>
   <HiddenControl(returnTo=__2F__Hotel__5F__Review__2D__g31441__2D__d224344__2D__Reviews__2D__Hilton__5F__Garden__5F__Inn__5F__Bentonville__2D__Bentonville__5F__Arkansas__2E__html#REVIEWS) (readonly)
   <HiddenControl(filterSegment=0) (readonly)>
   <HiddenControl(filterRating=1) (readonly)>>

所以评级是由 comRdo 控件控制的，但奇怪的是类别或单选按钮具有相同的值“on”。让我们看看选择其中一个类别之前和之后的控件属性：

前：

control_com=br.form.find_control("comRdo","radio")
print control_com.name,control_com.value,control_com.type
comRdo [] radio

后：

(br.form.find_control("comRdo","radio")).items[4].selected=True
print control_com.name,control_com.value,control_com.type
comRdo ['on'] radio

所以在选择“可怕”类别后，控件的值为“on”，如果我选择了任何其他类别，这将是相同的。当我在 comRdo 控件中打印出项目时：只有“id”不同，其他所有属性都是相同的：

<Item name='on' id='com1' id='com1' type='radio' class='radio' value='on' name='comRdo'>
<Item name='on' id='com2' id='com2' type='radio' class='radio' value='on' name='comRdo'>
...

那么这是如何工作的？服务器如何知道我选择了哪个单选按钮，因为它们都具有相同的值？我准备了发布数据并将其发送到请求中，并且正如预期的那样它不起作用。res 与没有任何过滤/发布请求的内容相同

form={"comRdo":"on"}
req=mechanize.Request("http://www.tripadvisor.com/Hotel_Review-g31441-d224344-Reviews-Hilton_Garden_Inn_Bentonville-Bentonville_Arkansas.html#REVIEWS",urllib.urlencode(form))
req.add_header('Content-Type','application/x-www-form-urlencoded')
cj.add_cookie_header(req)
res=mechanize.urlopen(req)

而且我还尝试了其他帖子数据的代码：

form={"comRdo":["on","on","on","on","on","*on"]}

或者

form={"filterSegment":"0","filterRating":"1"}

有人可以帮我解决这个问题吗？此页面如何使用相同值的单选按钮？如何以编程方式过滤评​​论？提前致谢！

感谢 Slater Tyranus 和 Diadara，我的以下代码有效！

form={"returnTo":"__2F__Hotel__5F__Review__2D__g31441__2D__d224344__2D__Reviews__2D__Hilton__5F__Garden__5F__Inn__5F__Bentonville__2D__Bentonville__5F__Arkansas__2E__html#REVIEWS","filterSegment":"0","filterRating":"1"}
url="http://www.tripadvisor.com/SortReviews#REVIEWS"
headers={'content-type':'application/x-www-form-urlencoded'}
r=requests.post(url,data=form)
soup=BeautifulSoup(r.content)
4

2 回答 2

1

正如另一个答案指出的那样，只需查看网络选项卡即可确定浏览器发出的请求。在这种情况下，您的表单具有多个元素，并且所有这些元素都需要生成所需的页面。所以你应该使用

所有这些价值观

comRdo:on
returnTo:__2F__Hotel__5F__Review__2D__g31441__2D__d224344__2D__Reviews__2D__Hilton__5F__Garden__5F__Inn__5F__Bentonville__2D__Bentonville__5F__Arkansas__2E__html#REVIEWS
filterSegment:0
filterRating:1

您还会发现您实际上提交到了错误的 url，请查看表单的操作字段或 chromes 网络选项卡

打开网络选项卡，单击保留日志，单击产生结果的链接，然后查看请求以确定您应该做什么。

于 2013-07-25T21:29:37.767 回答
0

如果您想知道网站的 POST 请求一般是如何工作的，您应该检查 Google Chrome 中的元素并切换到网络选项卡。您将能够看到您的 POST 请求通过。

如果您单击该 POST 请求，您将获得有关您在该 POST 请求中实际发送的信息的详细信息。

在较低的级别上，一旦您检查元素，您会注意到它嵌入在另一个带有以下标记的元素中：

onclick="document.forms.REVIEW_FILTER_FORM.filterRating.value='1';document.forms.REVIEW_FILTER_FORM.submit();"

这意味着您需要从该 onclick 方法开始搜索，因为这就是您单击该可怕值时实际发生的情况。

如果您要做的只是取回数据，则无需使用任何类型的庞大抓取框架。我个人建议使用 requests 和 lxml。在请求中，您应该发送此发布请求的方式是：

requests.post(url, data={"filterRating":1})

如果您真的想处理页面上的 javascript，那么您应该使用Selenium或Casper进行无头网页浏览。

于 2013-07-25T20:59:07.433 回答