linux - wget 仅记录成功下载的 url

Question

我只想记录成功下载的网址。我尝试使用-o log.txt，但这是记录所有内容，如标题、ip ...

我只想要一个简单的列表

http://example/
http://example/toto.html
http://example/sub/tata.html

我怎么能做到这一点？

我的 wget ：

wget http://example.com/ -r -v -S -R js,css,png,gif,jpg,pdf -o log.txt

Answer 1

您可以尝试以下方法：

wget http://example.com/ -r -nv -S -R js,css,png,gif,jpg,pdf 2>&1 | perl -ne 's|^.*URL:(https?://.*?) .*|\1|; print "$1\n"'

请注意，我使用-nv（无详细）而不是-v。我还将输出从标准错误重定向到标准输出，所以它可以由 Perl 在管道中处理。损坏的链接在 wget 输出中具有不同的格式，因此您只会获得成功下载的链接（这是您要求的）。