问题标签 [sparkling-water]

我对苏打水以及为什么需要它有一些疑问或疑问。

让我们假设我有一个生成的带有二进制和 pojo 的 h2o 模型。

现在我想将模型部署到生产中，并且可以选择同时使用 pojo 和二进制（苏打水）。

1. 我应该使用哪一个？使用 pojo 直接火花或使用 Binary 的苏打水。
2. 当我们可以使用 pojo 轻松部署模型并使用 spark 本身时，苏打水的确切用途是什么？
3. 只有当您必须在大量数据上训练模型时才需要苏打水吗？或者它也可以用于模型的 PROD 部署。

示例：https ://github.com/h2oai/h2o-droplets/blob/master/h2o-pojo-on-spark-droplet/src/main/scala/examples/PojoExample.scala

使用 spark 运行 pojo 模型。

示例：https ://github.com/h2oai/h2o-droplets/blob/master/sparkling-water-droplet/src/main/scala/water/droplets/SparklingWaterDroplet.scala

在苏打水中训练/运行模型。

与普通火花相比，苏打水 h2o 有哪些优势？

我是 Pysparkling 的新手。我使用纱线集群、Spark 1.6、Cloudera CDH 5.8.0、python 2.7.6，但我遇到了hc=H2OContext.getOrCreate(sc). 你有什么想法吗？

H2O 苏打水经常抛出异常，每当发生这种情况时，我们都会手动重新运行它。问题是发生此异常时火花作业不退出，它们不返回退出状态，我们无法自动化此过程。

当尝试H2OContext.getOrCreate使用有效的调用时SparkContext，我们会随机看到部署失败：

H2OContext.getOrCreate导致错误的原因：

H2O Crew 有什么想法吗？

我是苏打水和机器学习的新手，

我用两个数据集构建了 GBM 模型，手动分为训练和测试。任务是具有所有数字属性的分类（响应列转换为枚举类型）。代码在 Scala 中。

在模型摘要中，我得到了四种不同的结果——一种在训练数据上，另一种在测试数据上，然后再构建带有预测的单个树。结果在每种情况下的预测值为 1 - 这是用于测试数据：

第二个混淆矩阵与训练数据的预测值相似，在每种情况下都为 1。构建树后的第三和第四混淆矩阵给出了正常结果，其值分布在矩阵的所有部分。

我需要解释第一个和第二个矩阵。为什么苏打水会这样做？我可以使用这些结果还是只是中间步骤？

谢谢你。

在查看苏打水示例时，常见的模式是在 h2oframe 上进行评分和收集分数是执行以下操作：

我需要了解是否将使用这种方法保持原始帧中的分数顺序。特别是，分数顺序是否会通过强制转换到 RDD 和收集来保持？

我正在尝试使用 R 连接到苏打水，并在 H20 流上分析我的数据帧。我可以使用 sparkly 和 sparklingR 包从 R 连接到 Spark 实例并生成一些 H20 数据帧。请告知如何使用 spark_connect 创建的相同 Spark 上下文访问 Flow。使用以下版本

1. 水流 3.0.4.7
2. R诉3.4
3. R Studio 版本 v. 1.0.143
4. 苏打水 v. 2.1.0
5. 火花 v. 2.1.0

我已经能够使用 spark-submit 成功运行 ChicagoCrimeDemo.py 脚本（spark-submit --master=yarn-client --py-files /opt/sparkling-water-1.6.10/py/build/dist/h2o_pysparkling_1 .6-1.6.10-py2.7.egg /opt/sparkling-water-1.6.10/py/examples/scripts/ChicagoCrimeDemo.py) 。

虽然当我尝试使用 Livy(Spark) 执行相同的脚本时，我收到以下错误：

在 scala 中有一个训练有素的 DRFModel 实例，生成相应的 MojoModel 对象进行评分的最佳方法是什么？从我到目前为止看到的 api 中，主要是围绕导出到文件然后使用 MojoModel.load(path) 加载备份，但没有直接转换？

我想将创建的模型作为二进制文件存储在苏打水中，以便我可以使用不同的应用程序重新加载它。

什么是最好的方法？