url - 从 Bing 或 Google 搜索中提取 JPG 网址

Question

有没有办法使用 Xidel 查询 Bing 或 Google 图片搜索，然后从该搜索中提取图片的所有 URL 链接？我对使用 Xidel.EXE 通过命令行执行此操作很感兴趣。谢谢

ķ

Answer 1

当然。太好了，你找到了 Xidel。很棒的命令行爬虫，但似乎很少有人知道它。这是一个可以抓取 100 个 google-images 的“狗”图像 url 的 oneliner：

xidel -s "https://images.google.com" ^
      --user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64;) Firefox/40" ^
      -f "form(//form,{'q':'dogs'})" ^
      -e "<div class='rg_meta'>{extract(.,'ou.:.(.+?).,',1)}</div>*"

顺便说一句，Google 实际上希望您使用他们的 API，您可以为此请求 API 密钥，但上述命令只是假装是浏览器。

此外，如果您在末尾添加--download，它将下载所有图片。:-)