2

如何让 Amazon EMR (0.20.205 MapR) 使用 S3 存储桶进行输入和输出？

我尝试将以下内容添加到核心配置 xml 文件中（通过引导操作）：

<property>
        <name>fs.default.name</name>
        <value>s3n://</value>
</property>

<property>
        <name>dfs.name.default</name>
        <value>s3n://</value>
</property>

但我总是得到类似的东西：

引起：java.io.IOException：无法解析路径：s3n://some_out_bucket/out at com.mapr.fs.MapRFileSystem.lookupClient(MapRFileSystem.java:219) at com.mapr.fs.MapRFileSystem.delete(MapRFileSystem .java:385) 在 cc.mrlda.ParseCorpus.run(ParseCorpus.java:192) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 cc.mrlda.ParseCorpus.main(ParseCorpus. java:675) ... 10 更多

Hadoop新手在这里。请帮忙！

4

1 回答 1

2

除了上述问题中描述的配置步骤，我还修改了代码：

FileSystem fs = FileSystem.get(URI.create(outputPath), new JobConf(SomeClass.class));其中outputPath指向 S3 上的资源，例如s3n://some_bucket

使用URI.create，我现在可以直接从 S3 访问文件。

于 2012-09-03T16:52:43.780 回答