0

我想在通过 Google 搜索内容时抓取我的搜索返回的所有 URL。我试过制作一个脚本，但谷歌不喜欢它，添加 cookie 支持和验证码太乏味了。我正在寻找一些东西——当我浏览谷歌搜索页面时——将简单地获取页面上的所有 URL 并将它们放入 .txt 文件中或以某种方式存储它们。你们中有人知道会这样做吗？也许是一个greasemonkey 脚本或firefox 插件？将不胜感激。谢谢！

4

4 回答 4

0

您可以在http://irobotsoft.com/bookmark/index.html尝试 IRobotSoft 书签插件

于 2011-01-25T15:25:05.700 回答
0

谷歌搜索结果很容易被抓取。这是 php.ini 中的一个示例。

<?
# a trivial example of how to scrape google
$html = file_get_contents("http://www.google.com/search?q=pokemon");

$dom = new DOMDocument();
@$dom->loadHTML($html);
$x = new DOMXPath($dom);
foreach($x->query("//div[@id='ires']//h3//a") as $node)
{
    echo $node->getAttribute("href")."\n";
}
?>
于 2011-01-23T20:41:27.860 回答
0

请参阅JSON/Atom 自定义搜索 API。

于 2011-01-23T15:44:59.317 回答
0

我为没有可用 API 的 Google Scholar 做了类似的事情。我的方法基本上是创建一个代理 Web 服务器（Tomcat 上的一个 Java Web 应用程序），它会获取页面，用它做一些事情，然后显示给用户。这是 100% 功能性解决方案，但需要相当多的编码。如果您有兴趣，我可以了解更多细节并提供一些代码。

于 2011-01-23T15:52:40.070 回答