1

我在 ASP.NET MVC 3 中开发网站,并且由于视图是在第一次访问后编译的,因此有时我会遇到这种情况,我发布的网站带有一些带有错误(如拼写错误)的 Vies。

我想创建类似单元测试的东西,它会尝试访问所有页面,以避免视图中的任何错误。

创建另一个将在本地主机上抓取网络的程序应该很容易,但我想将它集成到单元测试循环中。这可能吗?

我应该自己写写简单的爬虫还是应该使用现有的东西?

此外,最好获取页面列表及其连接数,以查看哪些页面可通过多少链接访问。爬虫应该只爬我的网站,而不是外部链接。它还可以帮助查找从起点(索引页面)无法访问的页面。

我的网站有 100 页,所以性能不是问题 :)

提前致谢!

4

3 回答 3

3

试试“搜索引擎优化工具包”很好的工具:

使用站点分析模块

搜索引擎优化工具包

场地分析功能

功能齐全的爬虫引擎

可配置数量的并发请求以允许用户在不产生额外处理的情况下抓取他们的网站。这可以配置为 1 到 16 个并发请求。

支持 Robots.txt,允许您自定义爬虫应分析的位置以及应忽略的位置。

支持站点地图文件,允许您指定要分析的其他位置。

支持覆盖“noindex”和“nofollow”元标记,即使搜索引擎不会处理它们,您也可以分析页面以帮助改善客户体验。

可配置的分析限制、要下载的最大 URL 数以及每个 URL 下载的最大千字节数。

用于仅包含来自您的目录或整个站点和子域的内容的可配置选项。

通过丰富的仪表板查看网站分析结果的详细摘要

功能丰富的查询生成器界面,允许您构建自定义报告

快速访问常见任务

显示每个 URL 的详细信息

查看显示独特路线的详细路线分析,以更好地了解搜索引擎到达您的内容的方式

“Linkbot”是另一个你可以看到的有用的工具:

Linkbot 是一个屡获殊荣的网站管理实用程序套件,可帮助网站管理员跟踪和修复其网站上的问题。Linkbot 在一个集成软件包中包含维护无错误站点所需的所有工具:用于快速站点分析的高性能多任务引擎、查找和修复损坏的链接、定位缓慢和过时的页面、查找不再使用的孤立文件、地图找出网站的结构和组织,检查密码保护和安全区域,全面的 HTML 报告,自动生成最新页面,创建网站上所有图像的画廊等等!

于 2012-08-09T13:38:44.583 回答
1

http://haacked.com/archive/2011/05/09/compiling-mvc-views-in-a-build-environment.aspx

只需按照此操作,视图将在调试或发布中构建。当存在视图编译器错误时,构建将失败。

另一方面,如果您仍想抓取以查找损坏的链接,请查看WebDriver

于 2012-08-09T13:57:25.797 回答
0

夜精灵,

捕获拼写错误的最简单方法是在Release模式(而不是默认Debug模式)下编译解决方案,这样,所有视图都被编译并且错误显示在Error List. 当然,您需要超越这一点(例如查找无法访问的链接),但这肯定会捕获您所有的拼写错误。

于 2012-08-09T13:43:09.980 回答