curl - cygwin curl 或 wget 查找 404

Question

我正在寻找一个包含一堆引用 URL 的文本文档，以查看其中是否有任何 404'ing。如果有 404，我想获取试图放入文本文档的 URL。谁能帮我做到这一点？

我只寻找 404 的 URL，我不希望 wget --spider 等提供的所有其他输出。

Answer 1

剧本

#!/bin/sh
while read
do
  echo "$REPLY"
  if wget --spider -q "$REPLY"
  then
    echo "200 OK"
  else
    echo "404 Not Found"
    echo "$REPLY" >> p404s.txt
  fi
  echo
done < test-urls.txt

脚本输出

http://stackoverflow.com
200 OK

http://stackoverflow.com/1
404 Not Found

http://superuser.com
200 OK