python - 如何每五分钟下载一个网页？

Question

我想下载网页列表。我知道 wget 可以做到这一点。然而，每五分钟下载一次 URL 并将它们保存到一个文件夹似乎超出了 wget 的能力。有谁知道完成任务的 java、python 或 Perl 中的一些工具？

提前致谢。

Answer 1

听起来您想将cron 与 wget一起使用

---

但是，如果您打算使用 python：

import time
import os

wget_command_string = "wget ..."

while true:
    os.system(wget_command_string)
    time.sleep(5*60)

Answer 2

编写一个使用 wget 的 bash 脚本并将其放入您的 crontab 中以每 5 分钟运行一次。(*/5 * * * *)

如果您需要保留所有这些网页的历史记录，请在脚本开头使用当前 unixtime 设置一个变量，并将其附加到输出文件名中。