我正在尝试抓取一个站点，该站点首先加载一个 html/js，然后使用 js 修改表单输入字段，然后再进行 POST。如何获得 POSTed 页面的最终 html 输出？
我试图用 phantomjs 来做到这一点，但它似乎只有一个渲染图像文件的选项。谷歌搜索表明它应该是可能的，但我不知道如何。我的尝试：
var page = require('webpage').create();
var fs = require('fs');
page.open('https://www.somesite.com/page.aspx', function () {
page.evaluate(function(){
});
page.render('export.png');
fs.write('1.html', page.content, 'w');
phantom.exit();
});
这段代码将用于客户端，我不能指望他安装太多的包（nodejs ， casperjs 等）
谢谢
您拥有的输出代码是正确的，但是同步性存在问题。在页面加载完成之前执行的输出行。您可以绑定 onLoadFinished 回调以了解何时发生这种情况。请参阅下面的完整代码。
var page = new WebPage()
var fs = require('fs');
page.onLoadFinished = function() {
console.log("page load finished");
page.render('export.png');
fs.write('1.html', page.content, 'w');
phantom.exit();
};
page.open("http://www.google.com", function() {
page.evaluate(function() {
});
});
当使用像谷歌这样的网站时，它可能具有欺骗性，因为它加载速度如此之快，以至于您通常可以像拥有它一样内联执行屏幕抓取。在 phantomjs 中计时是一件棘手的事情，有时我会使用 setTimeout 进行测试以查看计时是否是一个问题。
当我直接复制您的代码并将 URL 更改为 www.google.com 时，它运行良好，并保存了两个文件：
请记住，文件将被写入您运行脚本的位置，而不是 .js 文件所在的位置
经过2天的挣扎和沮丧，我终于解决了类似的问题。诀窍是PhantomJS 官方网站中的waitfor.js示例。要开心！
"use strict";
function waitFor(testFx, onReady, timeOutMillis) {
var maxtimeOutMillis = timeOutMillis ? timeOutMillis : 3000, //< Default Max Timout is 3s
start = new Date().getTime(),
condition = false,
interval = setInterval(function() {
if ( (new Date().getTime() - start < maxtimeOutMillis) && !condition ) {
// If not time-out yet and condition not yet fulfilled
condition = (typeof(testFx) === "string" ? eval(testFx) : testFx()); //< defensive code
} else {
if(!condition) {
// If condition still not fulfilled (timeout but condition is 'false')
console.log("'waitFor()' timeout");
phantom.exit(1);
} else {
// Condition fulfilled (timeout and/or condition is 'true')
console.log("'waitFor()' finished in " + (new Date().getTime() - start) + "ms.");
typeof(onReady) === "string" ? eval(onReady) : onReady(); //< Do what it's supposed to do once the condition is fulfilled
clearInterval(interval); //< Stop this interval
}
}
}, 250); //< repeat check every 250ms
};
var page = require('webpage').create();
// Open Twitter on 'sencha' profile and, onPageLoad, do...
page.open("http://twitter.com/#!/sencha", function (status) {
// Check for page load success
if (status !== "success") {
console.log("Unable to access network");
} else {
// Wait for 'signin-dropdown' to be visible
waitFor(function() {
// Check in the page if a specific element is now visible
return page.evaluate(function() {
return $("#signin-dropdown").is(":visible");
});
}, function() {
console.log("The sign-in dialog should be visible now.");
phantom.exit();
});
}
});
我尝试了几种方法来完成类似的任务，并且使用 Selenium 获得了最好的结果。
在我尝试 PhantomJS 和Cheerio之前。在页面上执行 JS 时，Phantom 经常崩溃。
我正在使用CasperJS来使用 PhantomJS 运行测试。我将此代码添加到我的tearDown函数中：
var require = patchRequire(require);
var fs = require('fs');
casper.test.begin("My Test", {
tearDown: function(){
casper.capture("export.png");
fs.write("1.html", casper.getHTML(undefined, true), 'w');
},
test: function(test){
// test code
casper.run(function(){
test.done();
});
}
});
除了使用无头浏览器之外，我想到的一种方法显然是模拟 ajax 调用并集成页面后处理，逐个请求.. 然而，这通常有点棘手，应该作为最后的手段使用，除非你真的喜欢挖掘 javascript 代码..
这可以通过一些 php 代码轻松完成，javascript 使用 fopen() 和 fwrite() 以及这个函数来保存它： var generatedSource = new XMLSerializer().serializeToString(document);