python - 使用 Scrapy 从网站抓取图片

Question

我想从vinnicolas的网站上抓取每瓶葡萄酒的图像并将其保存在 svc 文件中。

不幸的是，我遇到了一些错误：

蜘蛛：https ://gist.github.com/anonymous/6424305

管道.py。：https ://gist.github.com/nahali/6434932

设置.py：

Answer 1

您parse_wine_page没有在项目中设置“image_urls”字段值，因此中间件不会下载任何图像

import urlparse
...

    def parse_wine_page(self, reponse):
        ...
        hxs = HtmlXPathSelector(response)
        content = hxs.select('//*[@id="glo_right"]')
        for res in content:
            ...
            #item ["Image"]= map(unicode.strip, res.select('//div[@class="pro_detail_tit"]//div[@class="pro_titre"]/h1/text()').extract())
            item['image_urls'] = map(lambda src: urlparse.urljoin(response.url, src), res.select('./div[@class="pro_col_left"]/img/@src').extract())
            items.append(item)
        return items

还要确保你的Projetvinnicolas3Item班级有“images”和“image_urls” Fields()