scala - 未找到 H2o 包装 Scala 苏打水

Question

我正在尝试在我的本地 Spark 2.1.0 实例上运行苏打水。我遵循了有关 Sparling Water的H2o文档。但是当我尝试执行

sparkling-shell.cmd

我收到以下错误：

文件名、目录名或卷标语法不正确。

我查看了批处理文件，执行以下命令时出现此错误：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\../assembly/build/libs/sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

当我删除--conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"时，Spark 启动但我无法导入 H2o 的包。

import org.apache.spark.h2o._

错误：对象 h2o 不是包 org.apache.spark 的成员

我尽我所能，但无法解决这个问题。有人可以帮我吗？谢谢

Answer 1

请尝试更正您的路径：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\..\assembly\build\libs\sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

还有关于 Windows RSparkling 的文档页面，其中可以包含不同的故障排除提示... https://github.com/h2oai/sales-engineering/tree/master/megan/RSparklingAndWindows

Answer 2

问题在于spark-shell提交 jar 时的命令。解决方法是修改spark-defaults.conf

在spark-defaults.conf文件中添加spark.driver.extraClassPath和spark.executor.extraClassPath参数如下：

spark.driver.extraClassPath    \path\to\jar\sparkling-water-assembly_version>-all.jar

spark.executor.extraClassPath   \path\to\jar\sparkling-water-assembly_version>-all.jar

并--jars \path\to\jar\sparkling-water-assembly_version>-all.jar从sparkling-shell2.cmd 中删除