java - 如何从 html google jsoup 检索图像的最佳猜测

Question

我们正在尝试检索给定 Google 返回的搜索结果页面的 html 的图像的最佳猜测。我们知道图像的最佳猜测是 qb-b 类，因此我们尝试使用 .select 方法选择带有“a”标签的元素。然而，当我们打印使用 jsoup 的 get 方法检索到的文档时，该文档不包含任何“最佳猜测”字符串。

我们编写的代码如下。我们该如何解决？

String newUrl = connect1.getHeaderField("Location");

Document doc = Jsoup.connect(newUrl.toString()).get();            
Elements bestguess = doc.select("a.qb-b");

System.out.println(bestguess.toString());

Answer 1

您必须设置 User-Agent 标头。谷歌会将您重定向到主页。尝试：

String newUrl = connect1.getHeaderField("Location");

Document doc = Jsoup.connect(newUrl.toString()).
                             userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.76 Safari/537.36").
                             get();            
Elements bestguess = doc.select("a.qb-b");

System.out.println(bestguess.toString());