我将一个小的 Lambda 函数组合在一起,以使用 SpookyJS、CasperJS 和 PhantomJS 工具链来抓取网站以进行无头浏览。这项任务非常简单,几个月前的某个时候,它还在 Lambda 中工作。我最近不得不改变一些事情,并想再次从事该项目,但重新开始并且无法让 Lambda 运行而不会出现任何错误。我的问题是如何在 Lambda 中运行 phantomjs?
我正在运行的示例代码是:
spooky.start('http://en.wikipedia.org/wiki/Spooky_the_Tuff_Little_Ghost');
spooky.then(function () {
this.emit('hello', 'Hello, from ' + this.evaluate(function () {
return document.title;
}));
});
spooky.run();
我在 Lambda 中遇到的错误是:
{ [Error: Child terminated with non-zero exit code 1] details: { code: 1, signal: null } }
我遵循了各种程序来确保一切都能够在 Lambda 上运行。以下是我尝试诊断的一长串事情:
- 使用本地运行
node index.js
并确认它正在工作 - 将 package.json 和 js 文件上传到 Amazon Linux EC2 实例以按照 npm 安装调用的建议进行编译并在此处描述
- 在ec2实例上运行
npm install
,再次运行node index.js
确保输出正确 - 压缩所有内容,然后使用 cli 部署到 AWS
我的 package.json 是:
{
"name": "lambda-spooky-test",
"version": "1.0.0",
"description": "",
"main": "index.js",
"scripts": {
"test": "echo \"Error: no test specified\" && exit 1"
},
"author": "",
"license": "ISC",
"dependencies": {
"casperjs": "^1.1.3",
"phantomjs-prebuilt": "^2.1.10",
"spooky": "^0.2.5"
}
}
我还尝试了以下操作(大多数也在本地和 AWS EC2 实例上工作,但在 Lambda 上出现相同的错误:
- 尝试幻象的非预建版本
- 确保可以从路径访问 casperjs 和 phantomjs
process.env['PATH'] = process.env['PATH'] + ':' + process.env['LAMBDA_TASK_ROOT'] + ':' + process.env['LAMBDA_TASK_ROOT'] + '/node_modules/.bin'; console.log( 'PATH: ' + process.env.PATH );
通过包装 child_process 的调用来检查 spawn 调用
.spawn()
,并得到以下信息:{ '0': 'casperjs', '1': [ '/var/task/node_modules/spooky/lib/bootstrap.js', '--transport=http', '--command=casperjs', '--port=8081', '--spooky_lib=/var/task/node_modules/spooky/lib/../', '--spawnOptions=[object Object]' ], '2': {} }
直接调用
.exec('casperjs')
,.exec('phantomjs --version')
确认它在本地和 EC2 上工作,但在 Lambda 中得到以下错误。命令:`require('child_process').exec('casperjs', (error, stdout, stderr) => { if (error) { console.error('error: ' + error); } console.log('out: ' + stdout); console.log('err: ' + stderr); });
两者都有以下结果:
err: Error: Command failed: /bin/sh -c casperjs
module.js:327
throw err;
^
Error: Cannot find module '/var/task/node_modules/lib/phantomjs'
at Function.Module._resolveFilename (module.js:325:15)
at Function.Module._load (module.js:276:25)
at Module.require (module.js:353:17)
at require (internal/module.js:12:17)
at Object.<anonymous> (/var/task/node_modules/.bin/phantomjs:16:15)
at Module._compile (module.js:409:26)
at Object.Module._extensions..js (module.js:416:10)
at Module.load (module.js:343:32)
at Function.Module._load (module.js:300:12)
at Function.Module.runMain (module.js:441:10)
2016-08-07T15:36:37.349Z b9a1b509-5cb4-11e6-ae82-256a0a2817b9 sout:
2016-08-07T15:36:37.349Z b9a1b509-5cb4-11e6-ae82-256a0a2817b9 serr: module.js:327
throw err;
^
Error: Cannot find module '/var/task/node_modules/lib/phantomjs'
at Function.Module._resolveFilename (module.js:325:15)
at Function.Module._load (module.js:276:25)
at Module.require (module.js:353:17)
at require (internal/module.js:12:17)
at Object.<anonymous> (/var/task/node_modules/.bin/phantomjs:16:15)
at Module._compile (module.js:409:26)
at Object.Module._extensions..js (module.js:416:10)
at Module.load (module.js:343:32)
at Function.Module._load (module.js:300:12)
at Function.Module.runMain (module.js:441:10)