python - 通过提供包含多个 URL 的文件来检索网页的来源

Question

我想通过提供一个包含其 URL 列表的文件来下载网页的源代码。例如，我有一个包含以下 URL 的文件

http://www.adobe.com/support/security/bulletins/apsb09-19.html
http://www.adobe.com/support/security/bulletins/apsb09-20.html                                                                                                

我可以使用它吗，urllib因为我想使用 python 模块而不是 unix 命令（如 wget）？

我想阅读这个文件并将每个 URL 作为 urlopen 或 urlretrieve 的输入，谁能告诉我该怎么做？

Answer 1

尽量分解问题。您有一个文本文件，其中每个 URL 都列在自己的行中。您知道 Python 非常支持逐行阅读，这要归功于open()，并且您可能熟悉urllibor requests，这取决于您的偏好。

所以你需要做的就是：

1. 打开文件

2. 逐行阅读

3. 将该行用作 URL 字符串

4. 使用urllib或requests向 URL 发送请求

5. 捕获输出并解析它/保存它

你完成了！