1

我HDFS Connector按照此处所述配置了对象存储：https ://docs.us-phoenix-1.oraclecloud.com/Content/API/SDKDocs/hdfsconnector.htm#troubleshooting

当我distcp使用以下命令运行时：

hadoop distcp -libjars /usr/lib/oci/oci-hdfs-full-2.7.2.0.jar hdfs://<namenode>:8020/some/folder/in/hdfs oci://bucket@namespace

我收到一个错误：

tools.DistCp：遇到异常 java.lang.IllegalArgumentException：不包含有效的主机：端口权限：bucket@namespace

由于它在不同的集群上工作，我认为这一定是配置问题，但我找不到原因。

关于如何解决这个问题有什么建议吗？

4

1 回答 1

2

出于好奇，你真的使用了文本oci://bucket@namespace吗？bucket并且namespace应该是占位符。

如果您登录 OCI 控制台（例如https://console.us-phoenix-1.oraclecloud.com），您可以找到这两者，转到 Storage -> Object Storage，然后单击存储桶名称（或者，如果您没有桶，创建一个）。

在存储桶详情页面，您可以找到存储桶名称（大字体）和命名空间名称。

OCI 存储桶详细信息截图]

例如，在此屏幕截图中，存储桶名称为“MyTestBucket”，命名空间名称为“mynamespace”。

因此，OCI URL 应该是：oci://MyTestBucket@mynamespace

hadoop distcp -libjars /usr/lib/oci/oci-hdfs-full-2.7.2.0.jar hdfs://<namenode>:8020/some/folder/in/hdfs oci://MyTestBucket@mynamespace

如果我误解了您的问题，请原谅我。

于 2018-05-30T00:23:08.800 回答