grails - 使用 grails 抓取 3 个网站

Question

嗨，我正在尝试使用 grails 构建一个简单的应用程序，其中我需要爬取 3 个网站以从书本上获取价格数据。在获得这些详细信息后，当我选择购买时，它必须重定向到所选站点。示例参考链接http://www.mydiscountbay.com/我被困住了，我不知道如何在 grails 中实现一个简单的爬虫。请指导我提供有关硬件的示例代码或教程来实现它

提前致谢

Answer 1

使用诸如 URL#getText() 之类的东西不会让您对具有重定向、cookie 等的网络走得太远。

对于任何涉及的内容，请使用 commons HttpClient 或 groovy HttpBuilder。

http://hc.apache.org/httpcomponents-client-ga/index.html

http://groovy.codehaus.org/HTTP+Builder

要解析响应并提取内容，请使用 XmlSlurper，例如：Using XmlSlurper: How to select sub-elements while iterate over a GPathResult

Answer 2

实现爬虫与 grails 无关，有一些开源的 java 爬虫，您可以根据需要使用或自定义。前端部分就像一个普通的 grails web 应用程序。