1

我试图抓取这个页面已经有几天了：http: //londoncoffeeguide.com/

我尝试使用 requests 或 scrapy，但我是 scrapin 世界的新手，我找不到登录方式。是否可以通过请求登录该网站并使用 BeautifulSoup 抓取它？或者可以用scrapy来做吗？

此外，我尝试按照此示例测试请求，并在维基百科上对其进行测试，使用链接的相同页面我尝试了这个：

import requests
from bs4 import BeautifulSoup as bs


def get_login_token(raw_resp):
    soup = bs(raw_resp.text, 'lxml')
    token = [n['value'] for n in soup.find_all('input')
    if n['name'] == 'wpLoginToken']
    return token[0]


payload = {
    'wpName': 'my_login',
    'wpPassword': 'my_pass!',
    'wpLoginAttempt': 'Log in',
    #'wpLoginToken': '',
    }

with requests.session() as s:
    resp = s.get('http://en.wikipedia.org/w/index.php?title=Special:UserLogin')
    payload['wpLoginToken'] = get_login_token(resp)
    print payload
    response_post = s.post('http://en.wikipedia.org/w/index.php?title=Special:UserLogin&action=submitlogin&type=login', data=payload)
    response = s.get('http://en.wikipedia.org/wiki/Special:Watchlist')

    r = bs(response.content)
    print r.get_text()

我看到的是，我仍然收到登录以查看愿望清单页面的建议。

错误在哪里？

4

1 回答 1

1

我得到了这个登录（是的，我创建了一个帐户并对其进行了测试）

from mechanize import Browser
    br = Browser()
    br.set_handle_robots(False)
    br.addheaders = [('User-agent', 'Firefox')]
    br.open("http://www.londoncoffeeguide.com")
    for form in br.forms():
        if form.attrs['id'] == 'form':
            br.form = form
    br.form['p$lt$zoneContent$PagePlaceholder$p$lt$zoneRight$logonform$Login1$UserName'] = 'username goes here'
    br.form['p$lt$zoneContent$PagePlaceholder$p$lt$zoneRight$logonform$Login1$Password'] = 'password goes here'
    response = br.submit()

然后你可以传给response.read()漂亮的汤，做各种各样的事情

于 2013-11-05T01:57:26.053 回答