hadoop - 如何与亚马逊弹性 mapreduce 共享 jar 库？

Question

为了加快 jar 到 s3 的上传速度，我想将所有常见的 jar 复制到普通 hadoop 中的“$HADOOP_HOME/lib”之类的东西。我是否可以在预装这些库的情况下创建自定义 EMR hadoop 实例。还是有更简单的方法？

Answer 1

您可以将此作为引导操作。就像放置一个脚本来复制到 S3 一样简单，然后如果您从命令行启动 EMR，请添加如下参数：

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者，如果您通过 Web 界面进行操作，只需在相应字段中输入位置即可。