问题标签 [mleap]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - 在 pyspark 中使用自定义火花变压器
如何在 pyspark 管道中使用用 scala 编写的自定义转换器。
在 pyspark 管道中使用这个转换器。
apache-spark - 将火花特征转换管道导出到文件
PMML、Mleap、PFA 目前仅支持基于行的转换。它们都不支持基于框架的转换,例如聚合或 groupby 或 join。导出由这些操作组成的火花管道的推荐方法是什么。
apache-spark - 获取 'com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'ml.combust.mleap.spark'` 错误
我正在尝试运行此处提供的示例 MLeap 代码示例:http: //mleap-docs.combust.ml/spark/
所有代码都适用于我的 Spark 集群。但是,每当我执行以下代码片段时(再次来自上面的链接):
我收到以下错误:
通过在我的 maven pom.xml 中添加以下内容,我也遵循了这个类似的问题链接https://github.com/combust/mleap/issues/252 :
不幸的是,我仍然遇到同样的错误。
apache-spark - MLeap 实际上是一种序列化“格式”吗?
我开始使用MLeap作为序列化工具,它允许将模型保存在 Spark 或 scikit-learn 中,并使用MLeap Runtime加载它进行推理。它运作良好。
现在我的目的是将使用 MLeap 保存的模型加载到我的 Java 代码中,加载到我自己的结构中,而无需 MLeap 运行时。我调查了一下,没有找到“模式”的任何“格式定义”,只有一些例子展示了一些序列化模型的样子。从这个角度来看,MLeap 看起来只是一个序列化/反序列化工具,而不是文档主页上声明的“格式”。
那么,MLeap 是一种“格式”还是只是一种序列化工具?我可以在某处找到格式定义或架构吗?
同样,我的目的是了解是否可以为 MLeap格式编写自定义序列化/反序列化工具,或者唯一的选择是为此使用 MLeap 工具?
pyspark - Pyspark 自定义 Transformer 的 MLeap serializeToBundle 错误
我有一个 Pyspark 自定义 Transformer,我正在尝试将其序列化为一个 mLeap 包对象以供以后的模型评分,但我收到以下错误:
我的自定义转换器继承自,pyspark.ml.Transformer
但似乎需要_to_java()
实现 mleap 序列化才能工作?
我有什么选择?
scala - 无法反序列化 mleap 包
我在以下代码中收到 java.util.NoSuchElementException: None.get :
错误在 opt.get 行
mleap - 如何创建没有任何输入列的自定义转换器?
我们有一个要求,我们想要生成我们模型的分数,其中一些随机值在 0-1 之间。
为此,我们希望有一个自定义转换器,它将在没有任何输入字段的情况下生成随机数。
那么我们可以在mleap中生成一个没有输入字段的转换器吗?
就像通常我们创建如下:
如何使其作为输入模式无需放置?
scala - 如何在scala中启动为班级成员?
我有一个生成随机数的随机数类。但是我希望它作为类成员启动,这样我们就不需要在每次调用中重新生成。下面是目前的代码。
我是 scala 的新手,需要建议我必须在这里做些什么改变?
apache-spark-mllib - curl -XPUT -H "content-type: application/json" -d '{"path":"/models/testALS.zip"}' http://localhost:65327/model 有错误
打电话时
得到错误。
我使用 spark-mllib 训练了一个 als 模型,并在调用它时将模型保存为 testALS.zip
有错误;错误消息粘贴在下面。
[错误] [05/10/2019 04:10:57.815] [MleapServing-akka.actor.default-dispatcher-3] [MleapResource] 请求 java.util.NoSuchElementException 错误:找不到密钥:scala.collection 中的 als。 MapLike$class.default(MapLike.scala:228) at scala.collection.AbstractMap.default(Map.scala:59) at scala.collection.MapLike$class.apply(MapLike.scala:141) at scala.collection.AbstractMap .apply(Map.scala:59) at ml.combust.bundle.BundleRegistry.model(BundleRegistry.scala:93) at ml.combust.bundle.serializer.ModelSerializer$$anonfun$readWithModel$2.apply(ModelSerializer.scala:105 )