2

我正在尝试按照 Kyle Mulka 的博客“ http://blog.kylemulka.com/2012/04/how-to-install-sqoop-on-amazon-elastic-map ”中描述的步骤在 Amazon EMR 集群上安装 Sqoop -reduce-emr/#comments ”。

在 S3 位置上传所需文件后，我尝试通过 CLI 运行以下 EMR 作业。

./elastic-mapreduce --create --name SQOOP-INSTALL --jar s3://<YOUR-REGION>.elasticmapreduce/libs/script-runner/script-runner.jar --arg s3://<YOUR-BUCKET>/sqoop-install/install_sqoop.sh.

我可以看到名为 SQOOP-INSTALL 的 EMR 作业正在集群上运行，但一段时间后该作业会自动取消。我尝试查看在 EMR 作业运行期间生成的日志，但没有错误消息。此外，生成的日志没有提供有关作业流程的足够信息。

请求您帮助我在 EMR 集群上安装 SQOOP。

提前致谢。

阿维纳什

4

1 回答 1

1

在做了很多试验和错误之后，我开始了解我面临的一些问题。如果您在 VPC 中运行作业，以下是您需要执行的必要步骤。1.在job创建中添加子网如下{ ./elasticmapreduce --create --submet <YOUR-SUBNETID}这样会在emr集群上创建job。2.获取JOB id，然后将步骤添加到创建的作业中

./elastic-mapreduce -j <JOBFLOW-ID --jar s3://elasticmapreduce/libs/script-runner/script-runner.jar --arg s3://<YOURBUCKET>/install-sqoop.sh

希望这对那些面临这种问题的人有所帮助

于 2013-11-05T12:52:34.603 回答