试试“搜索引擎优化工具包”很好的工具:
使用站点分析模块
搜索引擎优化工具包
场地分析功能
功能齐全的爬虫引擎
可配置数量的并发请求以允许用户在不产生额外处理的情况下抓取他们的网站。这可以配置为 1 到 16 个并发请求。
支持 Robots.txt,允许您自定义爬虫应分析的位置以及应忽略的位置。
支持站点地图文件,允许您指定要分析的其他位置。
支持覆盖“noindex”和“nofollow”元标记,即使搜索引擎不会处理它们,您也可以分析页面以帮助改善客户体验。
可配置的分析限制、要下载的最大 URL 数以及每个 URL 下载的最大千字节数。
用于仅包含来自您的目录或整个站点和子域的内容的可配置选项。
通过丰富的仪表板查看网站分析结果的详细摘要
功能丰富的查询生成器界面,允许您构建自定义报告
快速访问常见任务
显示每个 URL 的详细信息
查看显示独特路线的详细路线分析,以更好地了解搜索引擎到达您的内容的方式
“Linkbot”是另一个你可以看到的有用的工具:
Linkbot 是一个屡获殊荣的网站管理实用程序套件,可帮助网站管理员跟踪和修复其网站上的问题。Linkbot 在一个集成软件包中包含维护无错误站点所需的所有工具:用于快速站点分析的高性能多任务引擎、查找和修复损坏的链接、定位缓慢和过时的页面、查找不再使用的孤立文件、地图找出网站的结构和组织,检查密码保护和安全区域,全面的 HTML 报告,自动生成最新页面,创建网站上所有图像的画廊等等!