1

我正在尝试通过谷歌图片搜索从多个网址下载图片。

但是，我只想要每个 url 中的 15 张图片。

class imageSpider(BaseSpider):
    name = "image"
    start_urls = [
        'https://google.com/search?q=simpsons&tbm=isch'
        'https://google.com/search?q=futurama&tbm=isch'
        ]


def parse(self,response):
    hxs = HtmlXPathSelector(response)
    items = []
    images = hxs.select("//div[@id='ires']//div//a[@href]")
    count = 0
    for image in images:
        count += 1
        item = ImageItem()
        image_url = image.select(".//img[@src]")[0].extract()
        import urlparse
        image_absolute_url = urlparse.urljoin(response.url, image_url.strip())
        index = image_absolute_url.index("src")
        changedUrl = image_absolute_url[index+5:len(image_absolute_url)-2]
        item['image_urls'] = [changedUrl]
        index1 = site['url'].index("search?q=")
        index2 = site['url'].index("&tbm=isch")
        imageName = site['url'][index1+9:index2]
        download(changedUrl,imageName + str(count)+".png")
        items.append(item)
        if count == 15:
            break
    return items

下载功能下载图像（我有代码。这不是问题）。

问题是，当我中断时，它会在第一个 url 处停止，并且永远不会继续到下一个 url。我怎样才能让它为第一个网址下载 15 张图片，然后为第二个网址下载 15 张图片。我正在使用 break 因为每个 google 图片页面中大约有 1000 张图片，我不想要那么多。

4

1 回答 1

1

问题不在于break陈述。您在 . 中遗漏了一个逗号start_urls。

它应该是这样的：

start_urls = [
    'http://google.com/search?q=simpsons&tbm=isch',
    'http://google.com/search?q=futurama&tbm=isch'
]
于 2012-06-22T00:59:23.280 回答