通过使用引导程序,我将一些源文件移动到主节点。在通过 elastic-mapreduce-client 创建作业流时,我将传递一个 pig 脚本,该脚本将从主节点中存在的源文件启动嵌入式 python。
以下命令我用来创建工作流,
./elastic-mapreduce --create --alive --name "AutoTest" \
--instance-group master --instance-type m1.small \
--instance-count 1 --bid-price 0.20 \
--instance-group core --instance-type m1.small \
--instance-count 2 --bid-price 0.20 \
--log-uri s3n://test/logs \
--bootstrap-action "s3://test/bootstrap-actions/download.sh" \
--pig-script \
--args s3://test/rollups.pig
rollups.pig 包含以下启动嵌入式 pig 文件的代码,
sh pig automate.py
如果我在本地机器上运行 rollups.pig,它会成功触发automate.py。但是当我尝试使用 amazon elastic map reduce 运行它时,它不起作用?