1

我正在解析电子邮件数据的页面。我将如何获得隐藏的电子邮件 - 这是使用 JavaScript 生成的。这是我正在解析页面的页面 如果您查看 html 源代码（使用 firebug 或其他东西），您会看到它是生成的链接标记在名为 sobi2Details_field_email 的 div 内并设置为 display:none 。这是我现在的代码，但问题出在电子邮件上

 doc = Jsoup.connect(strLine).get();
 Element e5=doc.getElementById("sobi2Details_field_email");

if(e5!=null)
 {
 emaildata=e5.child(1).absUrl("href").toString();

 }
  System.out.println (emaildata);
4

2 回答 2

2

您需要执行几个步骤，因为 Jsoup 不允许您执行 JavaScript。我对其进行了逆向工程，结果如下：

public static void main(final String[] args) throws IOException
{
    final String url = "http://poslovno.com/kategorije.html?sobi2Task=sobi2Details&catid=71&sobi2Id=20001";
    final Document doc = Jsoup.connect(url).get();
    final Element e5 = doc.getElementById("sobi2Details_field_email");

    System.out.println("--- this is how we start");
    System.out.println(e5 + "\n\n\n\n");

    // remove the xml encoding
    System.out.println("---Remove XML encoding\n");
    String email = org.jsoup.parser.Parser.unescapeEntities(e5.toString(), false);
    System.out.println(email + "\n\n\n\n");

    // remove the concatunation with ' + '
    System.out.println("--- Remove concatunation (all: ' + ')");
    email = email.replaceAll("' \\+ '", "");
    System.out.println(email + "\n\n\n\n");

    // extract the email address variables
    System.out.println("--- Remove useless lines");
    Matcher matcher = Pattern.compile("var addy.*var addy", Pattern.MULTILINE + Pattern.DOTALL).matcher(email);
    matcher.find();

    email = matcher.group();
    System.out.println(email + "\n\n\n\n");

    // get the to string enclosed by '' and concatunate
    System.out.println("--- Extract the email address");
    matcher = Pattern.compile("'(.*)'.*'(.*)'", Pattern.MULTILINE + Pattern.DOTALL).matcher(email);
    matcher.find();

    email = matcher.group(1) + matcher.group(2);
    System.out.println(email);

}
于 2013-08-20T20:37:38.963 回答
1

如果在服务器响应完成后在客户端使用 javascript 动态生成某些内容，那么除了以下方法之外别无他法：

  1. 逆向工程 - 弄清楚服务器端脚本做了什么，并尝试实现相同的行为
  2. 从已处理的页面下载 javascript，并使用 java 的 javascript 处理器执行这样的脚本并获得结果（是的，有可能，我被迫做这样的事情）。在这里，您有一个基本示例，展示了如何在 java 中评估 javascript。
于 2013-08-20T19:52:55.723 回答