我一直在使用这个 wget 命令下载一个网站:
wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--domains website.org \
--wait=10 \
--limit-rate=30K \
www.domain.org/directory/something.html
我想使用 --wait 和 --limit-rate 选项来避免网站超载。我的下载进展顺利,但 24 小时后它被中断了。我想我可以通过使用 --no-clobber 选项来恢复,但是虽然 wget 没有覆盖它已经下载的文件,但在检查每个文件后它仍然等待 10 秒。
有没有办法让 wget 仅在它实际上必须下载文件时才等待,从而使检查过程更快,直到我赶上我所在的位置?最好的方法是什么?
谢谢。