scala - Google Cloud Dataproc - 通过 Spark 提交 Spark 作业

Question

有没有办法从 Scala 代码中将 Spark 作业提交到 Google Cloud Dataproc？

  val Config = new SparkConf()
    .setMaster("...")

主 URI 应该是什么样的？

应该设置哪些键值对来使用 API 密钥或密钥对进行身份验证？

Answer 1

在这种情况下，我强烈推荐另一种方法。由于以下几个原因，这种类型的连接尚未经过测试或推荐：

1. 它需要打开防火墙端口才能连接到集群
2. 除非您使用隧道，否则您的数据可能会泄露
3. 默认情况下不启用身份验证

SSH 到主节点（名为 的节点cluster-name-m）不是启动器吗？通过SSH 连接到主节点以直接使用 Spark非常容易。