2

我正在使用这个scrapy代码片段来呈现我想要从中抓取数据的网站的javascript代码。该网站是一个视频搜索引擎，搜索结果由 javascript 呈现。我想点击下一页链接并废弃整个搜索项目。以下是我的蜘蛛代码：

class VideoSpider(BaseSpider):
    name = "VideoSpider"
    allowed_domains = ["domain.com"]
    start_urls = ['video search results link']

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        video_items = hxs.select("//ul[@id='results-list']/li[@class='result']")
        #items = []
        for vi in video_items:
            item = VideoItem()
            link = vi.select("a[@class='result-link']/@href").extract()[0]
            title = vi.select("a[@class='result-link']/@title").extract()[0]
            #print title,link
            item['title'] = title
            item['url'] = link
            yield item

        next_page = hxs.select("//div[@id='page']/a")
        for np in next_page:
            next_url = np.select("@href").extract()
            if next_url:
                url = urlparse.urljoin(response.url, next_url[0])
                #url = response.url, str(next_page)
                self.log("find next page url: %s"%url, log.INFO)
                yield Request(url, callback=self.parse)

我发现中的链接start_urls已正确下载并正确呈现，如下所示：

<ul id="results-list" class="clearfix" static="bl=normal">
    <li class="result" href="" </li>
     <li class="result" href="" </li>
     <li class="result" href="" </li>
    ....

因此，在第一页上提取成功，而在获取下一页链接时，javascript 不会像这样呈现：

<ul id="results-list" class="clearfix" static="bl=normal"></ul>
    <div id="loading">trying to load page for you, please be patient</div>

所以抓取停止了，因为它无法提取链接，因为results-list没有呈现。为什么第一页正确呈现而第二页没有？我应该使用selenium而不是webkit and jswebkit吗？

4

2 回答 2

2

我不是专家，但我最近爱上了 Scrapy 和 Selenium。我过去主要使用 urllib2/beautifulsoup/regex/mechanize 使用 perl 和 python 来抓取硬核，但遇到了我认为无法处理的站点，这些站点广泛使用 ajax，没有从源中提取数据。甚至无法通过屏蔽帖子请求参数来破坏的网站，所以有一段时间我放弃了我的希望和梦想。

我花了一点时间，但现在我将 Selenium 与 Webkit 一起使用，这太棒了。我觉得自己像个职业黑客。

事实上，我非常有信心大多数网站都无法阻止我。它完美地模拟了使用浏览器的用户，我只是使用 sleep 来确保我允许页面 ajax 正确加载。对于像亚马逊这样的困难网站，不要贪心，让你的点击随机间隔。我已经连续几天运行硒，没有任何问题。

我绝对会建议您研究硒。现在一切都在使用 Ajax。

于 2013-01-02T03:50:47.430 回答
0

最后我找出了问题所在。某些 url 格式不正确。

于 2013-01-05T05:19:40.423 回答