python - 使用 wget 下载文件

Question

我需要从网页下载适合文件。我正在使用-iwget 选项执行此操作：我将下载文件存储在list.txt包含 URL1、URL2 的文件中......然后

$ wget -i list.txt

你知道是否有可能使用 Python 脚本做同样的事情？

Answer 1

假设您的文件每行包含一个 URL，您可以这样做：

import urllib2
with open('list.txt') as my_list:
    for line in my_list:
        response = urllib2.urlopen(line)
        html = response.read()
        # now process the page's source

Answer 2

如果您获得 SSL：CERTIFICATE_VERIFY_FAILED：

import wget
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)

使用操作系统库：

import os

with open('list.txt') as my_list:
    for url in my_list:
        os.system('wget ' + url)

Answer 3

with open('list.txt') as my_list:
    for url in my_list:
        wget.download(url)