问题标签 [mleap]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
299 浏览

scala - 在 pyspark 中使用自定义火花变压器

如何在 pyspark 管道中使用用 scala 编写的自定义转换器。

在 pyspark 管道中使用这个转换器。

0 投票
2 回答
1746 浏览

pyspark - 'JavaPackage' 对象不可调用 - MLeap

当我尝试使用以下代码使用MLeap序列化模型时:

但是我收到以下错误:

请协助?

0 投票
2 回答
369 浏览

apache-spark - 将火花特征转换管道导出到文件

PMML、Mleap、PFA 目前仅支持基于行的转换。它们都不支持基于框架的转换,例如聚合或 groupby 或 join。导出由这些操作组成的火花管道的推荐方法是什么。

0 投票
0 回答
518 浏览

apache-spark - 获取 'com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'ml.combust.mleap.spark'` 错误

我正在尝试运行此处提供的示例 MLeap 代码示例:http: //mleap-docs.combust.ml/spark/

所有代码都适用于我的 Spark 集群。但是,每当我执行以下代码片段时(再次来自上面的链接):

我收到以下错误:

通过在我的 maven pom.xml 中添加以下内容,我也遵循了这个类似的问题链接https://github.com/combust/mleap/issues/252 :

不幸的是,我仍然遇到同样的错误。

0 投票
1 回答
196 浏览

apache-spark - MLeap 实际上是一种序列化“格式”吗?

我开始使用MLeap作为序列化工具,它允许将模型保存在 Spark 或 scikit-learn 中,并使用MLeap Runtime加载它进行推理。它运作良好。

现在我的目的是将使用 MLeap 保存的模型加载到我的 Java 代码中,加载到我自己的结构中,而无需 MLeap 运行时。我调查了一下,没有找到“模式”的任何“格式定义”,只有一些例子展示了一些序列化模型的样子。从这个角度来看,MLeap 看起来只是一个序列化/反序列化工具,而不是文档主页上声明的“格式”。

那么,MLeap 是一种“格式”还是只是一种序列化工具?我可以在某处找到格式定义或架构吗?

同样,我的目的是了解是否可以为 MLeap格式编写自定义序列化/反序列化工具,或者唯一的选择是为此使用 MLeap 工具?

0 投票
0 回答
217 浏览

pyspark - Pyspark 自定义 Transformer 的 MLeap serializeToBundle 错误

我有一个 Pyspark 自定义 Transformer,我正在尝试将其序列化为一个 mLeap 包对象以供以后的模型评分,但我收到以下错误:

我的自定义转换器继承自,pyspark.ml.Transformer但似乎需要_to_java()实现 mleap 序列化才能工作?

我有什么选择?

0 投票
1 回答
133 浏览

scala - 无法反序列化 mleap 包

我在以下代码中收到 java.util.NoSuchElementException: None.get :

错误在 opt.get 行

0 投票
1 回答
241 浏览

mleap - 如何创建没有任何输入列的自定义转换器?

我们有一个要求,我们想要生成我们模型的分数,其中一些随机值在 0-1 之间。

为此,我们希望有一个自定义转换器,它将在没有任何输入字段的情况下生成随机数。

那么我们可以在mleap中生成一个没有输入字段的转换器吗?

就像通常我们创建如下:

如何使其作为输入模式无需放置?

0 投票
3 回答
86 浏览

scala - 如何在scala中启动为班级成员?

我有一个生成随机数的随机数类。但是我希望它作为类成员启动,这样我们就不需要在每次调用中重新生成。下面是目前的代码。

我是 scala 的新手,需要建议我必须在这里做些什么改变?

0 投票
1 回答
91 浏览

apache-spark-mllib - curl -XPUT -H "content-type: application/json" -d '{"path":"/models/testALS.zip"}' http://localhost:65327/model 有错误

打电话时

得到错误。

我使用 spark-mllib 训练了一个 als 模型,并在调用它时将模型保存为 testALS.zip

有错误;错误消息粘贴在下面。

[错误] [05/10/2019 04:10:57.815] [MleapServing-akka.actor.default-dispatcher-3] [MleapResource] 请求 java.util.NoSuchElementException 错误:找不到密钥:scala.collection 中的 als。 MapLike$class.default(MapLike.scala:228) at scala.collection.AbstractMap.default(Map.scala:59) at scala.collection.MapLike$class.apply(MapLike.scala:141) at scala.collection.AbstractMap .apply(Map.scala:59) at ml.combust.bundle.BundleRegistry.model(BundleRegistry.scala:93) at ml.combust.bundle.serializer.ModelSerializer$$anonfun$readWithModel$2.apply(ModelSerializer.scala:105 )