java - 为什么 Hadoop FileSystem.get 方法需要知道完整的 URI 而不仅仅是方案

Question

是否可以使用从任何有效的 hdfs url 创建的 Hadoop FileSystem 实例再次用于读取和写入不同的 hdfs url。我尝试了以下

String url1 = "hdfs://localhost:54310/file1.txt";
String url2 = "hdfs://localhost:54310/file2.txt";
String url3 = "hdfs://localhost:54310/file3.txt";

//Creating filesystem using url1
FileSystem fileSystem = FileSystem.get(URI.create(url1), conf);

//Using same filesystem with url2 and url3  
InputStream in = fileSystem.open(new Path(url2));
OutputStream out = fileSystem.create(new Path(url3));

这可行。但这会导致任何其他问题。

Answer 1

您当然可以FileSystem使用您的方案和地址创建一个单曲，然后通过FileSystem.

Configuration conf = new Configuration();
conf.set("fs.default.name","hdfs://localhost:54310");
FileSystem fs = FileSystem.get(conf);
InputStream is = fs.open(new Path("/file1.txt"));

Answer 2

对于不同的 dfs 路径，方法 create/open 将失败。查看 org.apache.hadoop.fs.FileSystem#checkPath 方法。