4

我是网络抓取的新手，刚刚开始尝试使用Python 编写的抓取框架Scrapy。我的目标是抓取一个旧的 Yahoo Group，因为他们不提供 API 或任何其他方式来检索消息档案。雅虎集团的设置是您必须先登录才能查看档案。

我认为我需要完成的步骤是：

  1. 登录雅虎
  2. 访问第一条消息的 URL 并抓取它
  3. 对下一条消息重复步骤 2，以此类推

我开始粗略地制作一个爬虫来完成上述工作，这就是我到目前为止所拥有的。我想观察的是登录有效并且我能够检索第一条消息。一旦我完成了这么多工作，我将完成剩下的工作：

class Sg101Spider(BaseSpider):
    name = "sg101"
    msg_id = 1              # current message to retrieve
    max_msg_id = 21399      # last message to retrieve

    def start_requests(self):
        return [FormRequest(LOGIN_URL,
            formdata={'login': LOGIN, 'passwd': PASSWORD},
            callback=self.logged_in)]

    def logged_in(self, response):
        if response.url == 'http://my.yahoo.com':
            self.log("Successfully logged in. Now requesting 1st message.")
            return Request(MSG_URL % self.msg_id, callback=self.parse_msg,
                    errback=self.error)
        else:
            self.log("Login failed.")

    def parse_msg(self, response):
        self.log("Got message!")
        print response.body

    def error(self, failure):
        self.log("I haz an error")

但是，当我运行蜘蛛时，我看到它登录并发出第一条消息的请求。但是，我在 scrapy 的调试输出中看到的只是 3 次重定向，最终到达了我最初要求的 URL。但是scrapy没有调用我的parse_msg()回调，并且爬行停止了。这是scrapy输出的片段：

2011-02-03 19:50:10-0600 [sg101] INFO: Spider opened
2011-02-03 19:50:10-0600 [sg101] DEBUG: Redirecting (302) to <GET https://login.yahoo.com/config/verify?.done=http%3a//my.yahoo.com> from <POST https://login.yahoo.com/config/login>
2011-02-03 19:50:10-0600 [sg101] DEBUG: Redirecting (meta refresh) to <GET http://my.yahoo.com> from <GET https://login.yahoo.com/config/verify?.done=http%3a//my.yahoo.com>
2011-02-03 19:50:12-0600 [sg101] DEBUG: Crawled (200) <GET http://my.yahoo.com> (referer: None)
2011-02-03 19:50:12-0600 [sg101] DEBUG: Successfully logged in. Now requesting 1st message.
2011-02-03 19:50:12-0600 [sg101] DEBUG: Redirecting (302) to <GET http://launch.groups.yahoo.com/group/MyYahooGroup/auth?done=http%3A%2F%2Flaunch.groups.yahoo.com%2Fgroup%2FMyYahooGroup%2Fmessage%2F1> from <GET http://launch.groups.yahoo.com/group/MyYahooGroup/message/1>
2011-02-03 19:50:12-0600 [sg101] DEBUG: Redirecting (302) to <GET http://launch.groups.yahoo.com/group/MyYahooGroup/auth?check=G&done=http%3A%2F%2Flaunch%2Egroups%2Eyahoo%2Ecom%2Fgroup%2FMyYahooGroup%2Fmessage%2F1> from <GET http://launch.groups.yahoo.com/group/MyYahooGroup/auth?done=http%3A%2F%2Flaunch.groups.yahoo.com%2Fgroup%2FMyYahooGroup%2Fmessage%2F1>
2011-02-03 19:50:13-0600 [sg101] DEBUG: Redirecting (302) to <GET http://launch.groups.yahoo.com/group/MyYahooGroup/message/1> from <GET http://launch.groups.yahoo.com/group/MyYahooGroup/auth?check=G&done=http%3A%2F%2Flaunch%2Egroups%2Eyahoo%2Ecom%2Fgroup%2FMyYahooGroup%2Fmessage%2F1>
2011-02-03 19:50:13-0600 [sg101] INFO: Closing spider (finished)
2011-02-03 19:50:13-0600 [sg101] INFO: Spider closed (finished)

我无法理解这一点。看起来雅虎正在重定向蜘蛛（也许是为了进行身份验证？），但它似乎回到了我想首先访问的 URL。但是scrapy 没有调用我的回调，我也没有机会抓取数据或继续爬行。

有没有人对正在发生的事情和/或如何进一步调试有任何想法？谢谢！

4

1 回答 1

5

我认为雅虎正在重定向以进行授权检查，它最终将我重定向回我真正想要获得的页面。然而，Scrapy 已经看到了这个请求，并停止了，因为它不想陷入循环。就我而言，解决方案是添加dont_filter=True到 Request 构造函数中。这将指示 Scrapy 不过滤掉重复的请求。在我的情况下这很好，因为我事先知道我想要抓取哪些 URL。

def logged_in(self, response):
    if response.url == 'http://my.yahoo.com':
        self.log("Successfully logged in. Now requesting message page.",
                level=log.INFO)
        return Request(MSG_URL % self.msg_id, callback=self.parse_msg,
                errback=self.error, dont_filter=True)
    else:
        self.log("Login failed.", level=log.CRITICAL)
于 2011-02-04T04:43:47.047 回答