java - YARN 上 Spark 提交和 Flink 的 HDFS 路径

Question

我使用 cloudera live vm，我有一个 hadoop 和 spral 独立集群。现在我想用 spark submit 和 flink run 脚本提交我的工作。这也有效。但我的应用程序可以在 hdfs 中找到输入和输出文件的路径。我将路径设置为： hdfs://127.0.0.1:50010/user/cloudera/outputs 来自我从中获得的端口的信息：

如何在java中设置hdfs的路径？

最好的问候，保罗

Answer 1

您不必设置 DataNode 主机的路径。在“概述”页面上，您将看到 NameNode 的连接信息，这也是您必须连接的地方。