6

我正在开发一个工具，它需要从 3rd 方服务器下载网页，像浏览器一样执行它，然后解析 HTML。我遇到的问题是该工具需要在执行所有 javascript 并修改 DOM 后解析 HTML。我正在尝试为此目的使用 PhantomJS，它适用于一小段代码（只是一个带有外部 javascript 的小 html 文档，它向 DOM 添加了一些节点）但是当我对一个真实的网站（http://www .dba.dk/ ) 在 js 代码完成所有修改后，我没有得到最终的 HTML。

我真的需要帮助，因为我已经坚持了一个多星期。

我的 PhantomJS 代码很简单：

if (phantom.state.length === 0) {
     if (phantom.args.length === 0) {
             console.log('Usage: test.js <some URL>');
             phantom.exit();
     } else {
             var address = phantom.args[0];
             phantom.state = Date.now().toString();
             phantom.viewportSize = { width: 1280, height: 800 };
             phantom.open(address);
     }
} else {
     var elapsed = Date.now() - new Date().setTime(phantom.state);
     if (phantom.loadStatus === 'success') {
             if (!first_time) {
                     var first_time = true;
                     if (!document.addEventListener) {
                             console.log('Not SUPPORTED!');
                     }
                     phantom.render('result.png');
                     var markup = document.documentElement.innerHTML;
                     console.log(markup);
                     phantom.exit();
             }
     } else {
             console.log('FAIL to load the address');
             phantom.exit();
     }
}

转储到控制台的 HTML 不包含动态生成的内容

4

1 回答 1

3

问题出在 Flash 插件中。页面正在检测它的缺失。一旦正确加载，问题就消失了

于 2011-04-01T20:58:11.387 回答