apache-spark - 构建一个最小的苏打水应用程序

Question

我是苏打水的新手。我现在如何从 sparkling-shell 运行我的程序。但是，我不确定如何构建一个独立的应用程序，我可以将其作为 spark 提交的输入。我需要包含哪些 jar 来构建我的应用程序？

Answer 1

查看苏打水示例，例如ProstateDemo.scala，了解如何编写独立的苏打水应用程序（创建水环境等）。

基本上你需要添加 sparkling-water-core到你的 sbt/maven/gradle 依赖，编译你的 jar。您有 2 个选项：

1. 构建一个装有苏打水核心的装配罐。这是我用于 sbt 的示例：

   libraryDependencies += "ai.h2o" %% "sparkling-water-core" % "2.0.4" excludeAll(
   ExclusionRule(organization = "org.apache.spark"),
   ExclusionRule(organization = "org.slf4j"),
   ExclusionRule(organization = "com.google.guava"),
   ExclusionRule(organization = "org.eclipse.jetty.orbit"),
   ExclusionRule(organization = "com.esotericsoftware.kryo"))
   

2. 编译你的 jar 并使用--jarsor--packages参数来触发提交：

spark-submit --packages ai.h2o:sparkling-water-core_2.11:2.0.4 your_jar.jar

Answer 2

仅供参考：还有气泡水滴，其中包含stb定义：

https://github.com/h2oai/h2o-droplets/blob/master/sparkling-water-droplet/build.sbt