2

除了复制到 HDFS 之外，是否可以只在 S3 的存储桶中获取一组对象以在 EMR 中处理？

我已经尝试过了，并且我继续收到没有凭据的安全警告（即使在我将它们添加到配置中之后）（这只是从执行 new Path("s3n://...")）或运行当我尝试使用 AWS sdk 访问我的存储桶时，jar 告诉我缺少 AWS sdk。

4

1 回答 1

0

您可以将其添加到参数部分

在将其添加为步骤时选择 CustomJAR

JAR 位置：s3://inbsightshadoop/jar/loganalysis.jar
主类：无
参数：s3://inbsightshadoop/insights-input s3://inbsightshadoop/insights-output
失败时的操作：终止集群

于 2014-08-21T07:31:59.177 回答