screen-scraping - 使用屏幕截图提取数据

Question

我正在寻找有关我需要从某些网站提取“联系我们”信息的屏幕截图的建议。

有什么想法可以让我获得一个好的（免费的）屏幕截图吗？

Answer 1

自己写——不难。如果您不熟悉编程或无法选择编程语言：请使用 Python 库支持来进行出色的抓取。

至于如何解决问题，它们有两种流行的技术：使用正则表达式，它们最适合临时屏幕抓取。如果您的目标网站结构良好——请阅读：不是临时的——然后使用允许您使用DOM的框架。

导航和提取

这是编写蜘蛛的两个阶段。你的蜘蛛需要导航一个网站来访问不同的页面，它需要提取感兴趣的信息。这两个阶段都可以由 DOM 或 RE 驱动

ps，既然你的名字表示.NET——我应该提到我已经用C-Sharp写了scraper——这是一个轻而易举的事。