python - 如何使用 wget 下载文件

Question

scrapy 没有正确下载文件。我有我的项目的 URL，所以我想我可以使用 wget 来下载文件。

如何在 scrapyprocess_item函数中使用 wget？或者，是否有另一种下载文件的方式？

class MyImagesPipeline(ImagesPipeline):
    #Name download version
    def image_key(self, url):
        image_guid = url.split('/')[-1]
        return 'full/%s' % (image_guid)

    def get_media_requests(self, item, info):
        if item['image_urls']:
            for image_url in item['image_urls']:
            # wget -nH image_ul -P  images/
            yield Request(image_url)

Answer 1

此代码将执行 wget，您可以将您的注释替换为以下行

import subprocess

    ...

subprocess.call(['wget','-nH', image_url, '-P  images/'])

您可以在此处阅读有关 subprocess.call 的信息：http: //docs.python.org/2/library/subprocess.html