hadoop - 通过 hadoop 访问 s3n url 并指向 riak cs

Question

我在 hadoop 中使用 s3 和 s3n url 为亚马逊 emr 编写了代码。

例如猪：

X = LOAD("s3n://testbucket/testfile.txt") using PigStorage();

我想继续使用代码并改用 Riak-CS 而不是 amazon s3。

即我希望 s3 url 指向我的 Riak CS 集群，我将在其中设置存储桶和文件。

Hadoop 配置中是否有通过代理或特定主机名路由 s3n url 的选项。

Answer 1

设置 jets3t.properties 参见 Riak CS 端点。本地设置的示例在这里：http: //qiita.com/kuenishi/items/71b3cda9bbd1a0bc4f9e#2-3

> cat conf/jets3t.properties
s3service.https-only=false
#s3service.s3-endpoint=localhost
#s3service.s3-endpoint-http-port=8080
#s3service.s3-endpoint-https-port=8080
#s3service.disable-dns-buckets=true

httpclient.proxy-autodetect=false
httpclient.proxy-host=localhost
httpclient.proxy-port=8080
httpclient.retry-max=11