有潜在客户网站要求我们重新设计。经常当我问,“你的网站有多少页?” 我经常得到的答案是“我不知道”。如果他们的网站上有 10 个页面,计算起来很简单,但这些网站更大,可能有数百个页面。
有没有办法在不手动操作的情况下计算网站上的所有页面?我知道 wget 可用于从网站下载页面,但我不想下载他们所有的页面,除此之外只会给我一个文件集合而不是页面。
wget 是解决这个问题的方法吗?如果是这样,它如何用于计算网站的页面?如果不使用 wget,是否有另一种可行的解决方案?请记住,我没有对他们网站的内部访问权来进行计数,必须从网络上完成。还是计算内部链接等于一个页面?