c# - 是否有任何我可以重用的 Url Spider 组件？

Question

我想构建一个蜘蛛工具，我可以使用它来针对网站根 url 运行它，然后它应该通过指定解析程度来找到所有损坏和健康的链接（图像、css、.aspx、.docs），例如 2 个级别.

然后最后它应该在 Xml 或 DataTables 中生成结果的映射

是否有任何现成的第三方或免费工具可以在我的 .NET 应用程序中重复使用？

非常感谢，

Answer 1

我以前使用过 Chilkat ASP.Net Spider 组件。它允许您指定要抓取的级别数，并允许您设置排除项等。

它不会自动为您生成地图（或者至少我使用的版本没有），但是将结果记录到数据库或 XML 应该相当容易。组件的详细信息可以在这里找到，您可以从这里免费下载组件