web-crawler - 如何下载谷歌搜索结果？

Question

抱歉，如果这是一个太无知的问题或以前曾被问过。粗略一看，并没有找到任何与此完全匹配的东西。问题是：如何下载 Google 已索引的所有 Word 文档？手工完成确实是一项艰巨的任务......感谢所有指示。

Answer 1

恐怕，没有合法的方法可以做到这一点。以前 Google 为他们的网络搜索提供了一个 SOAP API，但它已被弃用，并将于今年夏天关闭。它每天有 1000 个查询的限制。

目前谷歌提供了一个Ajax 搜索 API，但它没有为您提供解决方案，因为最大的结果集包含 8 个结果。

最后，google.com上的标准网络表单禁止以编程方式查询。（还有一个限制，谷歌只返回前一千个结果，你不能看到更多。）

如果您想在此基础上构建服务，可以联系 Google 并与他们建立合作伙伴关系。