5

我正在学习 Python 和 Scrapy，并且正在学习如何使用它下载图像。我现在有点卡住了，我无法弄清楚真正的问题是什么。

运行蜘蛛时收到此错误消息

<None>: Unsupported URL scheme '': no handler available for that scheme

和

[imageflip] WARNING: File (unknown-error): Error downloading image from <GET

请在此处查看我的 pipelines.py

import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem


class PriceoflipkartPipeline(object):
    def process_item(self, item, spider):
        return item

class MyImagesPipeline(ImagesPipeline):

def get_media_requests(self, item, info):
    for image_url in item['image_urls']:
        yield scrapy.Request(image_url)

def item_completed(self, results, item, info):
    image_paths = [x['path'] for ok, x in results if ok]
    if not image_paths:
        raise DropItem("Item contains no images")
    item['image_paths'] = image_paths
    return item

请在此处查看我的 settings.py

SPIDER_MODULES = ['PriceoFlipkart.spiders']
NEWSPIDER_MODULE = 'PriceoFlipkart.spiders'
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline']
IMAGES_STORE = 'D:\PriceoFlipkart\Images'
IMAGES_EXPIRES = 90

请在这里查看我的蜘蛛

import scrapy
from PriceoFlipkart.items import PriceoflipkartItem

class FlipkartSpider(scrapy.Spider):
    name = "imageflip"
    allowed_domains = ["flipkart.com"]
     start_urls = [
    "http://www.flipkart.com/moto-g-2nd-gen/p/itme5z8n9mt77ajr?pid=MOBDYGZ6SHNB7RFC&srno=b_1&ref=06f4e48c-9548-45fa-b3ac-fa5fdf0e0d22"
]

def parse(self, response):
    for sel in response.xpath('//body'):
        item = PriceoflipkartItem()
        item['image_urls'] = sel.select('//img[@class="productImage  current"]').extract()
        yield item

在我的 item.py 中，我添加了以下代码

image_urls = scrapy.Field()
images = scrapy.Field()

请告诉我如何正确配置它以便下载图像。我在 Windows 8 机器上。先感谢您。

Python递归没有'in'解决方法

所以我的递归函数也是在列表中查看，看看是否已经在列表中重复了一个项目。前任。L = [1,2,3,4,3] 返回真。我已经完成了它，但我不允许使用“in”功能，但不知道如何解决。

编辑：我被允许使用的唯一内置函数是len, 和index和拼接运算符。

def has_repeats(L):
    if L == []:
        return False
    elif L[0] in L[1:]:
        return True
    else:
        return has_repeats(L[1:])
    return False
4

1 回答 1

1

提取图像 URL 的 XPath 不正确，它应该包含/@src在末尾以仅提取图像的 URL。让它像：

item['image_urls'] = sel.select(
    '//img[@class="productImage  current"]/@src').extract()
于 2015-03-21T12:00:07.250 回答