2

我正在用 Java 创建一个应用程序，它将从公共网站获取所有信息并将其加载到应用程序中，供人们使用 jsoup 阅读。我在 Facebook 上尝试了同样的功能，但它的工作方式不一样。有没有人知道我应该怎么做？

谢谢，卡兰德

public String[] scrapeEvents(String... args) throws Exception {
    Document doc = Jsoup.connect("http://www.facebook.com/cedarstreettimes?fref=ts").get();
    Elements elements = doc.select("div._wk");
    String s = elements.toString();

    return s;
}

编辑：我找到了这个信息链接，但是我对如何操作它来让我只获得特定用户在他们的墙上发布的内容有点困惑。http://developers.facebook.com/docs/getting-started/graphapi/

4

1 回答 1

2

我查看了该页面的来源——导致解析失败的是所有真实内容都包含在注释中，如下所示：

<code class="hidden_elem" id="u_0_42"><!-- <div class="fbTimelineSection ...> --></code>

页面上有 JS 将这些数据提升到真实的 DOM 中，但是由于 jsoup 不执行 JS，它仍然作为注释。因此，在提取内容之前，我们需要模拟该 JS 并“取消隐藏”这些元素。这是一个帮助您入门的示例：

String url = "https://www.facebook.com/cedarstreettimes?fref=ts";
String ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.33 (KHTML, like Gecko) Chrome/27.0.1438.7 Safari/537.33";
Document doc = Jsoup.connect(url).userAgent(ua).timeout(10*1000).get();

// move the hidden commented out html into the DOM proper:
Elements hiddenElements = doc.select("code.hidden_elem");
for (Element hidden: hiddenElements) {
    for (Node child: hidden.childNodesCopy()) {
        if (child instanceof Comment) {
            hidden.append(((Comment) child).getData()); // comment data parsed as html
        }
    }
}

Elements articles = doc.select("div[role=article]");
for (Element article: articles) {
    if (article.select("span.userContent").size() > 0) {
        String text = article.select("span.userContent").text();
        String imgUrl = article.select("div.photo img").attr("abs:src");
        System.out.println(String.format("%s\n%s\n\n", text,imgUrl));
    }
}

该示例提取了文章文本和与之关联的任何照片。

（使用 FB API 可能比这种方法更好；我想展示如何模拟一点点 JS 以使抓取正常工作。）

于 2013-03-17T18:49:59.310 回答