46

我正在编写一个从 HTML 页面下载所有图像文件并将它们保存到特定文件夹的刮板。所有图像都是 HTML 页面的一部分。

4

6 回答 6

88

这是一些从提供的 URL 下载所有图像的代码，并将它们保存在指定的输出文件夹中。您可以根据自己的需要对其进行修改。

"""
dumpimages.py
    Downloads all the images on the supplied URL, and saves them to the
    specified output file ("/test/" by default)

Usage:
    python dumpimages.py http://example.com/ [output]
"""
from bs4 import BeautifulSoup as bs
from urllib.request import (
    urlopen, urlparse, urlunparse, urlretrieve)
import os
import sys

def main(url, out_folder="/test/"):
    """Downloads all the images at 'url' to /test/"""
    soup = bs(urlopen(url))
    parsed = list(urlparse(url))

    for image in soup.findAll("img"):
        print("Image: %(src)s" % image)
        filename = image["src"].split("/")[-1]
        parsed[2] = image["src"]
        outpath = os.path.join(out_folder, filename)
        if image["src"].lower().startswith("http"):
            urlretrieve(image["src"], outpath)
        else:
            urlretrieve(urlunparse(parsed), outpath)

def _usage():
    print("usage: python dumpimages.py http://example.com [outpath]")

if __name__ == "__main__":
    url = sys.argv[-1]
    out_folder = "/test/"
    if not url.lower().startswith("http"):
        out_folder = sys.argv[-1]
        url = sys.argv[-2]
        if not url.lower().startswith("http"):
            _usage()
            sys.exit(-1)
    main(url, out_folder)

编辑：您现在可以指定输出文件夹。

于 2008-11-03T12:40:27.647 回答
13

Ryan 的解决方案很好，但如果图像源 URL 是绝对 URL 或任何在简单地连接到主页 URL 时不会产生良好结果的东西，则会失败。urljoin 识别绝对和相对 URL，因此将中间的循环替换为：

for image in soup.findAll("img"):
    print "Image: %(src)s" % image
    image_url = urlparse.urljoin(url, image['src'])
    filename = image["src"].split("/")[-1]
    outpath = os.path.join(out_folder, filename)
    urlretrieve(image_url, outpath)
于 2010-11-17T00:49:24.640 回答
8

您必须下载页面并解析 html 文档，使用正则表达式找到您的图像并下载它。您可以使用 urllib2 进行下载，使用 Beautiful Soup 来解析 html 文件。

于 2008-11-02T21:33:53.030 回答
8

这是下载一张图片的功能：

def download_photo(self, img_url, filename):
    file_path = "%s%s" % (DOWNLOADED_IMAGE_PATH, filename)
    downloaded_image = file(file_path, "wb")

    image_on_web = urllib.urlopen(img_url)
    while True:
        buf = image_on_web.read(65536)
        if len(buf) == 0:
            break
        downloaded_image.write(buf)
    downloaded_image.close()
    image_on_web.close()

    return file_path
于 2010-03-15T15:35:20.813 回答
3

使用 htmllib 提取所有 img 标签（覆盖 do_img），然后使用 urllib2 下载所有图像。

于 2008-11-02T21:34:28.643 回答
1

如果请求需要授权，请参阅此：

r_img = requests.get(img_url, auth=(username, password)) 
f = open('000000.jpg','wb') 
f.write(r_img.content) 
f.close()
于 2014-07-19T07:29:33.650 回答