0

我正在尝试使用 Scrapy Framework 和 djano-item 设置从网页下载图像。我想我已经完成了doc中的所有操作， 但是在调用 scrapy crawl 之后，我的日志看起来像这样：

抓取日志

我找不到任何关于出了什么问题的信息，但图像字段为空且目录不包含任何图像。

这是我的模型

class Event(models.Model):
    title = models.CharField(max_length=100, blank=False)
    description = models.TextField(blank=True, null=True)
    event_location = models.CharField(max_length=100, blank = True, null= True)
    image_urls = models.CharField(max_length = 200, blank = True, null = True)
    images = models.CharField(max_length=100, blank = True, null = True)
    url = models.URLField(max_length=200)

    def __unicode(self):
        return self.title

这就是我从蜘蛛到图像管道的方式

def parse_from_details_page(self, response):
    "Some code"
    item_event = item_loader.load_item()
    #this is to create image_urls list (there is only one image_url allways)
    item_event['image_urls'] = [item_event['image_urls'],]
    return item_event

最后这是我的 Scrapy 项目的 settings.py：

import sys
import os
import django

DJANGO_PROJECT_PATH = os.path.join(os.path.dirname((os.path.abspath(__file__))), 'MyScrapy')
#sys.path.insert(0, DJANGO_PROJECT_PATH)
#sys.path.append(DJANGO_PROJECT_PATH)
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "MyScrapy.settings")
#os.environ["DJANGO_SETTINGS_MODULE"] = "MyScrapy.settings"


django.setup()

BOT_NAME = 'EventScraper'

SPIDER_MODULES = ['EventScraper.spiders']
NEWSPIDER_MODULE = 'EventScraper.spiders'

ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 100,
    'EventScraper.pipelines.EventscraperPipeline': 200,
}

#MEDIA STORAGE URL
IMAGES_STORE = os.path.join(DJANGO_PROJECT_PATH, "IMAGES")

#IMAGES (used to be sure that it takes good fields)
FILES_URLS_FIELD = 'image_urls'
FILES_RESULT_FIELD = 'images'

预先感谢您的帮助

编辑：

我使用了来自 doc 的自定义图像管道，看起来像这样，

class MyImagesPipeline(ImagesPipeline):

def get_media_requests(self, item, info):
    for image_url in item['image_urls']:
        import ipdb; ipdb.set_trace()
        yield scrapy.Request(image_url)

def item_completed(self, results, item, info):
    import ipdb; ipdb.set_trace()
    image_paths = [x['path'] for ok, x in results if ok]
    if not image_paths:
        raise DropItem("Item contains no images")
    item['image_paths'] = image_paths
    return item

在 get_media_requests 它创建对我的 Url 的请求，但在 item_completed 结果参数中我得到这样的东西：[(False, <twisted.python.failure.Failure scrapy.pipelines.files.FileException: >)] 我仍然不知道如何修复它。问题是否可能是由使用 https 的地址引用引起的？

4

1 回答 1

0

我遇到了scrapy的确切问题。我的解决方案：

为您在 get_media_requests 函数中产生的请求添加了标头。我添加了一个用户代理和一个主机以及其他一些标头。这是我的标题列表。

headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'en-GB,en-US;q=0.8,en;q=0.6',
            'Connection': 'keep-alive',
            'Upgrade-Insecure-Requests': '1',
            'Proxy-Connection': 'keep-alive',
            'Pragma': 'no-cache',
            'Cache-Control': 'no-cache',
            'Host': 'images.finishline.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
        }

在浏览器中打开确切的图像 url（用于下载图像的 url）。只需检查浏览器的网络选项卡以获取标题列表。确保我上面提到的那个请求的标头与那些相同。

希望它有效。

于 2016-08-31T07:47:09.343 回答