hadoop - 如何在hadoop中添加另一个文件系统

Question

我打算org.apache.hadoop.fs在 Hadoop 下添加一个文件系统，比如“我的云”，类似于 KFS 或 S3，它们已经存在于org.apache.hadoop.fs. 我想问一下，我为“我的云”编写我的文件系统并将包添加到 fs 下，但是我如何告诉core-site.xml或其他配置文件使用“我的云”文件系统。我需要在哪里进行更改以使“我的云”文件系统成为 Hadoop 的一部分？

Answer 1

这实际上非常简单：

<property>
    <name>fs.mycloud.impl</name>
    <value>com.yourcompany.yourpackage.MyCloudFileSystem</value>
</property>

现在您可以使用类似的 URL 引用该文件系统上的文件mycloud://authority/path/to/file，并且您将开始看到类似 MYCLOUD_BYTES_WRITTEN 的计数器。