screen-scraping - YQL 抓取整个网站/域

Question

我正在尝试从域中收回一组链接和内容。

谷歌中的查询将是

"site:www.newswebsite.com search_term"

我已经看到了一些让这个工作正常的东西，但我似乎无法在整个网站上进行搜索，然后按搜索词过滤。

如果没有自定义数据表，这可能吗？

Answer 1

我最终到达了它的底部。

select title,abstract,url,date from search.web(0) where query="search_term" and sites="www.website1.com,www.website2.com,www.website3.com" | sort (field='date') | reverse()

这将搜索 3 个站点，按日期排序，最新的在前。有另一种方法可以反转排序，但这似乎目前有效。我认为排序中的降序=真（字段='日期'，降序='真'）

非常有用，即使我自己这么说。

Answer 2

Christian Heilmann 刚刚写了一篇关于 YQL 的相当不错的文章，并从24ways 网站上的 HTML 数据源获取信息。