0

我是 H2O 和 spark 框架的新手,在H2O+Spark (sparkling-water)Databricks 中加入 PySparkling 时遇到了麻烦。我有一个在 1.5.2 环境中的 Databricks 中运行的 12 个工作集群。

我采取的步骤如下: 1. 将H2O
所需的必要库(六个、请求、列表和未来)附加(安装)到我的集群

  1. sparkling-water-1.5.14/py/dist然后,在从 sparkling-water-1.5.14.zip 包中解压缩后,我从文件夹中取出了必要的 .egg 文件。

  2. 我还将 附加sparkling-water-assembly-1.5.14.jar到我的 Databricks 集群

  3. 我能够import h2o成功。但是,当我在 Databricks 的 python NB 中运行以下单元格时,出现以下异常:

    在 Spark 上启动 H2OContext
    from pysparkling import * hc = H2OContext(sc).start() import h2o

我收到以下错误

py4j.Py4JException: Method addURL([class java.net.URL]) does not exist

衷心感谢有关如何解决此异常的任何指导。

4

1 回答 1

0

这是PySparkling 中的一个错误。已提交修复但仍在等待下一个版本,可能会在 1.5.15 中引入。

您可以尝试自己从该分支构建 Sparkling Water,并在我们发布下一个版本之前使用它。

于 2016-05-30T13:04:26.357 回答