hadoop - 如何通过URL访问hadoop hdfs并在程序中使用

Question

我的 hadoop dfs 可以通过

http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070

在我的程序中，我必须参考我的 hdfs 替换输入

FileInputFormat.addInputPath(conf, new Path("input"));

我的 core-site.xml 具有 hdfs://localhost:54310我无法使用 URL 访问的值。

我的实际 hdfs 路径是/users/hdone/text2所有文件都位于具有适当权限的位置。

那我写input什么？

Answer 1

您只需将 dfs 的相对路径提供给您的输入，它就会被正确读取。

例如，您正在创建如下输入路径：

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv

现在，为了运行您的 hadoop 作业，您可以执行如下操作：

$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory

在您的 Java 代码中，您可以通过 访问它args[0]，如下所示：

FileInputFormat.addInputPath(conf, new Path(args[0]));