我正在尝试使用 Ruby on Rails 实现一个工具,它应该抓取网页并搜索超链接。有一个问题:如果网站有大量的链接,用户需要等待很多时间。
这可能是一个幼稚的问题:如何显示结果(例如 10 个结果)并且爬取过程仍在运行?
然后,用户单击“下一步”,它会显示接下来的 10 个链接,依此类推。
我正在尝试使用 Ruby on Rails 实现一个工具,它应该抓取网页并搜索超链接。有一个问题:如果网站有大量的链接,用户需要等待很多时间。
这可能是一个幼稚的问题:如何显示结果(例如 10 个结果)并且爬取过程仍在运行?
然后,用户单击“下一步”,它会显示接下来的 10 个链接,依此类推。
想象一个页面有一个链接列表。
如果您在调用中获取页面上的所有链接,将其显示给用户,然后重复给用户,这将更加有效。如下所示:
如果您没有 ajax 部分,请检查wikipedia 上的 ajax 定义和 这个问题