c# - 使用 C# 的可编程 WebCrawler

Question

我想从已知的 Url 中提取特定数据：从 span、a、divs 等 html 标签中提取......！
因此，我正在为用 C# 编写的 WebCrawler 搜索现有库！...或者任何其他想法。

谢谢 ！

Answer 1

对于解析 HTML，您可能需要查看HTML Agility Pack。至于从网站抓取 HTML，您可以使用WebClient。

Answer 2

这家伙写了一篇关于从 C# 中使用 HtmlAgilityPack 进行网络爬虫的文章，这是一个网络爬虫的框架，虽然项目似乎已经死了，但你可以看看它们是否符合你的需求。

Answer 3

SO 上的很多人都喜欢HtmlAgilityPack。