6

我正在尝试使用 JSoup 从 Google 抓取搜索结果。目前这是我的代码。

public class GoogleOptimization {
public static void main (String args[])
{
    Document doc;
    try{
        doc = Jsoup.connect("https://www.google.com/search?as_q=&as_epq=%22Yorkshire+Capital%22+&as_oq=fraud+OR+allegations+OR+scam&as_eq=&as_nlo=&as_nhi=&lr=lang_en&cr=countryCA&as_qdr=all&as_sitesearch=&as_occt=any&safe=images&tbs=&as_filetype=&as_rights=").userAgent("Mozilla").ignoreHttpErrors(true).timeout(0).get();
        Elements links = doc.select("what should i put here?");
        for (Element link : links) {
                System.out.println("\n"+link.text());
    }
    }
    catch (IOException e) {
        e.printStackTrace();
    }
}

}

我只是想获取搜索结果的标题和标题下方的片段。所以是的，我只是不知道要寻找什么元素才能刮掉这些。如果有人有更好的方法来使用 java 抓取 Google，我很想知道。

谢谢。

4

1 回答 1

12

干得好。

public class ScanWebSO 
{
public static void main (String args[])
{
    Document doc;
    try{
        doc =        Jsoup.connect("https://www.google.com/search?as_q=&as_epq=%22Yorkshire+Capital%22+&as_oq=fraud+OR+allegations+OR+scam&as_eq=&as_nlo=&as_nhi=&lr=lang_en&cr=countryCA&as_qdr=all&as_sitesearch=&as_occt=any&safe=images&tbs=&as_filetype=&as_rights=").userAgent("Mozilla").ignoreHttpErrors(true).timeout(0).get();
        Elements links = doc.select("li[class=g]");
        for (Element link : links) {
            Elements titles = link.select("h3[class=r]");
            String title = titles.text();

            Elements bodies = link.select("span[class=st]");
            String body = bodies.text();

            System.out.println("Title: "+title);
            System.out.println("Body: "+body+"\n");
        }
    }
    catch (IOException e) {
        e.printStackTrace();
    }
}
}

另外，要自己做这件事，我建议使用 chrome。您只需右键单击要抓取的任何内容并检查元素。它将带您到 html 中该元素所在的确切位置。在这种情况下，您首先要找出所有结果列表的根在哪里。当你找到它时，你想指定元素，最好是一个唯一的属性来搜索它。在这种情况下，根元素是

<ol eid="" id="rso">

在其下方，您将看到一堆以

<li class="g">

这是您要放入初始元素数组的内容，然后对于每个元素，您将要找到标题和正文所在的位置。在这种情况下，我发现标题在

<h3 class="r" style="white-space: normal;">

元素。因此，您将在每个列表中搜索该元素。身体也是如此。我发现 body 在下面，所以我使用 .text() 方法搜索它，它返回了该元素下的所有文本。关键是总是尝试找到具有原始属性的元素（使用类名是理想的）。如果您不这样做并且只搜索“div”之类的内容，它将在整个页面中搜索包含 div 的任何元素并返回。所以你会得到比你想要的更多的结果。我希望这能很好地解释它。如果您还有其他问题，请告诉我。

于 2013-07-17T19:22:10.357 回答