amazon-data-pipeline - 如何从 aws 数据管道禁用安装猪步骤

Question

我正在使用 EMR 集群作为资源创建数据管道。由于服务器在引导后创建，它会自动执行一些步骤，即

enable debugging,
Install Hive
Install Pig
install Task runner

一切正常。

但我想从中删除步骤安装猪。有什么办法吗？

Answer 1

该答案考虑了评论中有关错误的信息。

看来您正在安装一个非常旧的 Hadoop 版本。查看 EmrCluster 对象中定义的 hadoopVersion 字段，它可能显示“0.20”。我想说删除此字段并将其替换为 amiVersion ( http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html )。选择http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html中列出的更新版本。