java - 如何制作一个网络爬虫，访问作为用户查询信息的搜索结果获得的链接？

Question

如何制作一个网络爬虫，访问作为用户查询信息的搜索结果获得的链接？说，如果用户对某个主题提出一些查询，爬虫必须只访问一些顶部链接。谁能告诉我如何做到这一点？

Answer 1

Google 的自定义搜索 API可能是您最好的选择。它是免费的，旨在以编程方式与之交互。

但是，如果您需要与不知名的站点进行交互，或者需要细粒度的控制，我已经使用HtmlUnit编写了几个爬虫。这有点冗长，但绝对有效。