web-scraping - YQL 抓取：按照链接向下一级？

Question

YQl 是否有一种抓取网页的好方法，但也可以通过该网页的链接获取更多详细信息？

一个例子就像一个博客，其中索引页面显示每个新闻条目的标题，但您需要单击该标题链接以获取新闻故事和相关图片等。我需要从每个新闻条目页面获取数据并也处理索引页面上的分页结果。

如果 YQL 能够做到这一点，任何人都可以提供任何示例吗？如果不是，任何人都可以提出一个好的选择吗？

Answer 1

我们通过在 AppEngine 中托管一个服务来解决类似的问题，该服务将首先调用 YQL 来获取链接。然后迭代链接以获取 URL 的内容。