1

我在 Amazon EMR 上运行 Spark，其公共 DNS 为23.21.40.15.

现在我在这个集群上执行我的 Spark Jar 并且我想将我的 Spark 作业的输出写入公共 DNS 为的其他 Amazon EMR HDFS 29.45.56.72。

我能够访问我自己的集群 HDFS，即23.21.40.15，但我无法写入集群29.45.56.72。

  • 我需要做什么才能让我的 Spark 作业可以访问跨集群 HDFS？
  • 如果可能的话，任何人都可以为此分享示例代码吗？
4

1 回答 1

1

当您在 spark 作业中设置输出目录时，您可以设置凭据以访问它，如下所示：

hdfs://username:password@hostname:port/pathToFolder

PD：您不应该在公共问题中写出您的集群的 IP ;)

于 2016-07-04T13:27:51.763 回答