In the Google Cloud Dataproc beta what are the versions of Spark and Hadoop?
What version of Scala is Spark compiled for?
In the Google Cloud Dataproc beta what are the versions of Spark and Hadoop?
What version of Scala is Spark compiled for?
根据官方公告:
今天,我们将推出具有 Spark 1.5 和 Hadoop 2.7.1 的集群。
当前 Spark 版本信息列在 docs 中。Spark 2.1.0 使用 Scala 2.11。
Spark的版本取决于使用的DataProc版本,目前使用Data Proc v1.2,有
火花:2.2.1 斯卡拉:2.11.8
许多框架都为 DataProc 预定义了初始化脚本,包括具有以下版本的 Kafka:
卡夫卡:2.11.0.10.1 卡夫卡客户端:0.10.1