python - 如何使用请求下载图像

Question

我正在尝试使用 python 的requests模块从网上下载并保存图像。

这是我使用的（工作）代码：

img = urllib2.urlopen(settings.STATICMAP_URL.format(**data))
with open(path, 'w') as f:
    f.write(img.read())

这是使用的新（非工作）代码requests：

r = requests.get(settings.STATICMAP_URL.format(**data))
if r.status_code == 200:
    img = r.raw.read()
    with open(path, 'w') as f:
        f.write(img)

你能帮我从响应中使用什么属性requests吗？

score 602 · Accepted Answer

您可以使用response.raw文件对象，也可以遍历响应。

默认情况下，使用response.raw类文件对象不会解码压缩响应（使用 GZIP 或 deflate）。decode_content您可以通过将属性设置为True（requests将其设置False为控制解码本身）来强制它为您解压缩。然后，您可以使用shutil.copyfileobj()Python 将数据流式传输到文件对象：

import requests
import shutil

r = requests.get(settings.STATICMAP_URL.format(**data), stream=True)
if r.status_code == 200:
    with open(path, 'wb') as f:
        r.raw.decode_content = True
        shutil.copyfileobj(r.raw, f)

要迭代响应，请使用循环；像这样迭代可确保在此阶段解压缩数据：

r = requests.get(settings.STATICMAP_URL.format(**data), stream=True)
if r.status_code == 200:
    with open(path, 'wb') as f:
        for chunk in r:
            f.write(chunk)

这将以 128 字节块的形式读取数据；如果您觉得另一个块大小效果更好，请使用自定义块大小的Response.iter_content()方法：

r = requests.get(settings.STATICMAP_URL.format(**data), stream=True)
if r.status_code == 200:
    with open(path, 'wb') as f:
        for chunk in r.iter_content(1024):
            f.write(chunk)

请注意，您需要以二进制模式打开目标文件，以确保 python 不会尝试为您翻译换行符。我们还设置stream=True了requests不先将整个图像下载到内存中。

score 268 · Accepted Answer

从请求中获取类文件对象并将其复制到文件中。这也将避免一次将整个内容读入内存。

import shutil

import requests

url = 'http://example.com/img.png'
response = requests.get(url, stream=True)
with open('img.png', 'wb') as out_file:
    shutil.copyfileobj(response.raw, out_file)
del response

score 205 · Accepted Answer

这个怎么样，快速解决。

import requests

url = "http://craphound.com/images/1006884_2adf8fc7.jpg"
response = requests.get(url)
if response.status_code == 200:
    with open("/Users/apple/Desktop/sample.jpg", 'wb') as f:
        f.write(response.content)

score 85 · Accepted Answer

我同样需要使用请求下载图像。我首先尝试了 Martijn Pieters 的答案，效果很好。但是当我对这个简单的函数进行概要分析时，我发现与 and 相比，它使用了如此多的函数urllib调用urllib2。

然后我尝试了请求模块作者推荐的方式：

import requests
from PIL import Image
# python2.x, use this instead  
# from StringIO import StringIO
# for python3.x,
from io import StringIO

r = requests.get('https://example.com/image.jpg')
i = Image.open(StringIO(r.content))

这大大减少了函数调用的数量，从而加快了我的应用程序。这是我的分析器的代码和结果。

#!/usr/bin/python
import requests
from StringIO import StringIO
from PIL import Image
import profile

def testRequest():
    image_name = 'test1.jpg'
    url = 'http://example.com/image.jpg'

    r = requests.get(url, stream=True)
    with open(image_name, 'wb') as f:
        for chunk in r.iter_content():
            f.write(chunk)

def testRequest2():
    image_name = 'test2.jpg'
    url = 'http://example.com/image.jpg'

    r = requests.get(url)
    
    i = Image.open(StringIO(r.content))
    i.save(image_name)

if __name__ == '__main__':
    profile.run('testUrllib()')
    profile.run('testUrllib2()')
    profile.run('testRequest()')

结果testRequest：

343080 function calls (343068 primitive calls) in 2.580 seconds

结果testRequest2：

3129 function calls (3105 primitive calls) in 0.024 seconds

score 67 · Accepted Answer

这可能比使用requests. 这是我唯一一次建议不要用requests它来做 HTTP 的事情。

两个班轮使用urllib：

>>> import urllib
>>> urllib.request.urlretrieve("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

还有一个不错的 Python 模块，名为wget，非常易于使用。在这里找到。

这证明了设计的简单性：

>>> import wget
>>> url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3'
>>> filename = wget.download(url)
100% [................................................] 3841532 / 3841532>
>> filename
'razorback.mp3'

享受。

编辑：您还可以添加out参数来指定路径。

>>> out_filepath = <output_filepath>    
>>> filename = wget.download(url, out=out_filepath)

score 38 · Accepted Answer

以下代码片段下载文件。

该文件以指定 url 中的文件名保存。

import requests

url = "http://example.com/image.jpg"
filename = url.split("/")[-1]
r = requests.get(url, timeout=0.5)

if r.status_code == 200:
    with open(filename, 'wb') as f:
        f.write(r.content)

score 21 · Accepted Answer

主要有2种方式：

使用.content（最简单/官方）（见张振一的回答）：

import io  # Note: io.BytesIO is StringIO.StringIO on Python2.
import requests

r = requests.get('http://lorempixel.com/400/200')
r.raise_for_status()
with io.BytesIO(r.content) as f:
    with Image.open(f) as img:
        img.show()

使用.raw（参见Martijn Pieters 的回答）：

import requests

r = requests.get('http://lorempixel.com/400/200', stream=True)
r.raise_for_status()
r.raw.decode_content = True  # Required to decompress gzip/deflate compressed responses.
with PIL.Image.open(r.raw) as img:
    img.show()
r.close()  # Safety when stream=True ensure the connection is released.

两者的时间都没有明显的差异。

score 16 · Accepted Answer

就像导入图像和请求一样简单

from PIL import Image
import requests

img = Image.open(requests.get(url, stream = True).raw)
img.save('img1.jpg')

score 5 · Accepted Answer

这是一个更加用户友好的答案，仍然使用流媒体。

只需定义这些函数并调用getImage(). 默认情况下，它将使用与 url 相同的文件名并写入当前目录，但两者都可以更改。

import requests
from StringIO import StringIO
from PIL import Image

def createFilename(url, name, folder):
    dotSplit = url.split('.')
    if name == None:
        # use the same as the url
        slashSplit = dotSplit[-2].split('/')
        name = slashSplit[-1]
    ext = dotSplit[-1]
    file = '{}{}.{}'.format(folder, name, ext)
    return file

def getImage(url, name=None, folder='./'):
    file = createFilename(url, name, folder)
    with open(file, 'wb') as f:
        r = requests.get(url, stream=True)
        for block in r.iter_content(1024):
            if not block:
                break
            f.write(block)

def getImageFast(url, name=None, folder='./'):
    file = createFilename(url, name, folder)
    r = requests.get(url)
    i = Image.open(StringIO(r.content))
    i.save(file)

if __name__ == '__main__':
    # Uses Less Memory
    getImage('http://www.example.com/image.jpg')
    # Faster
    getImageFast('http://www.example.com/image.jpg')

request胆量getImage()是基于这里的答案，胆量getImageFast()是基于上面的答案。

score 5 · Accepted Answer

我就是这样做的

import requests
from PIL import Image
from io import BytesIO

url = 'your_url'
files = {'file': ("C:/Users/shadow/Downloads/black.jpeg", open('C:/Users/shadow/Downloads/black.jpeg', 'rb'),'image/jpg')}
response = requests.post(url, files=files)

img = Image.open(BytesIO(response.content))
img.show()

score 5 · Accepted Answer

我将发布一个答案，因为我没有足够的代表发表评论，但是使用 Blairg23 发布的 wget，您还可以为路径提供一个 out 参数。

 wget.download(url, out=path)

score 3 · Accepted Answer

我的方法是使用 response.content (blob) 并以二进制模式保存到文件中

img_blob = requests.get(url, timeout=5).content
     with open(destination + '/' + title, 'wb') as img_file:
         img_file.write(img_blob)

查看我的python 项目，它根据关键字从 unsplash.com 下载图像。

score 3 · Accepted Answer

这是谷歌搜索如何下载带有请求的二进制文件的第一个响应。如果您需要下载带有请求的任意文件，您可以使用：

import requests
url = 'https://s3.amazonaws.com/lab-data-collections/GoogleNews-vectors-negative300.bin.gz'
open('GoogleNews-vectors-negative300.bin.gz', 'wb').write(requests.get(url, allow_redirects=True).content)

score 1 · Accepted Answer

你可以这样做：

import requests
import random

url = "https://images.pexels.com/photos/1308881/pexels-photo-1308881.jpeg? auto=compress&cs=tinysrgb&dpr=1&w=500"
name=random.randrange(1,1000)
filename=str(name)+".jpg"
response = requests.get(url)
if response.status_code.ok:
   with open(filename,'w') as f:
    f.write(response.content)

score 0 · Accepted Answer

同意Blairg23的观点，使用urllib.request.urlretrieve是最简单的解决方案之一。

我想在这里指出一个注意事项。有时它不会下载任何东西，因为请求是通过脚本（bot）发送的，如果你想从谷歌图像或其他搜索引擎解析图像，你需要先传递user-agent给请求headers，然后再下载图像，否则，请求将被阻止并抛出错误。

通过user-agent并下载图像：

opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582')]
urllib.request.install_opener(opener)

urllib.request.urlretrieve(URL, 'image_name.jpg')

在线 IDE 中的代码，使用requests, bs4, urllib.requests.从 Google 图片中抓取和下载图片

或者，如果您的目标是从 Google、Bing、Yahoo!、DuckDuckGo（和其他搜索引擎）等搜索引擎抓取图像，那么您可以使用SerpApi。这是一个带有免费计划的付费 API。

最大的不同是无需弄清楚如何绕过搜索引擎的阻止或如何从 HTML 或 JavaScript 中提取某些部分，因为它已经为最终用户完成了。

要集成的示例代码：

import os, urllib.request
from serpapi import GoogleSearch

params = {
  "api_key": os.getenv("API_KEY"),
  "engine": "google",
  "q": "pexels cat",
  "tbm": "isch"
}

search = GoogleSearch(params)
results = search.get_dict()

print(json.dumps(results['images_results'], indent=2, ensure_ascii=False))

# download images 
for index, image in enumerate(results['images_results']):

    # print(f'Downloading {index} image...')
    
    opener=urllib.request.build_opener()
    opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582')]
    urllib.request.install_opener(opener)

    # saves original res image to the SerpApi_Images folder and add index to the end of file name
    urllib.request.urlretrieve(image['original'], f'SerpApi_Images/original_size_img_{index}.jpg')

-----------
'''
]
  # other images
  {
    "position": 100, # 100 image
    "thumbnail": "https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcQK62dIkDjNCvEgmGU6GGFZcpVWwX-p3FsYSg&usqp=CAU",
    "source": "homewardboundnj.org",
    "title": "pexels-helena-lopes-1931367 - Homeward Bound Pet Adoption Center",
    "link": "https://homewardboundnj.org/upcoming-event/black-cat-appreciation-day/pexels-helena-lopes-1931367/",
    "original": "https://homewardboundnj.org/wp-content/uploads/2020/07/pexels-helena-lopes-1931367.jpg",
    "is_product": false
  }
]
'''

免责声明，我为 SerpApi 工作。

score -2 · Accepted Answer

-2

下载图片

import requests
Picture_request = requests.get(url)

于 2021-06-17T05:33:55.550 回答

python - 如何使用请求下载图像

16 回答 16

Related

Reference