wget - wget蜘蛛输出

Question

wget问题：

你能帮我理解这意味着什么吗？只需拉取网址即可构建站点地图：

wget --spider --recursive --no-verbose --no-parent -t 3 --output-file=wgetlog.txt $URL

结果是：

2013-06-17 18:56:54 URL:http:/domain/file/19[149408/149408] -> "domain/file/19.1" [1]

这是否意味着有重定向？另外，括号里的数字是什么意思？为什么最后有第二个带有a的网址.1？这是什么[1]意思？

我一直在搜索文档一段时间，但没有找到解释wget输出的页面。有人可以提供上述任何好的链接或解释吗？

Answer 1

我相信Salman A已经回答了这个问题。

wget --spider --recursive --no-verbose --output-file=wgetlog.txt http://somewebsite.com
sed -n "s@.+ URL:([^ ]+) .+@\1@ p" wgetlog.txt | sed "s@&@\&@" > sedlog.txt