我有一个 Pyspark 自定义 Transformer,我正在尝试将其序列化为一个 mLeap 包对象以供以后的模型评分,但我收到以下错误:
---> 42 self._java_obj.serializeToBundle(transformer._to_java(), path, dataset._jdf)
43
44 def deserializeFromBundle(self, path):
/usr/lib/spark/python/pyspark/ml/pipeline.py in _to_java(self)
314 java_stages = gateway.new_array(cls, len(self.stages))
315 for idx, stage in enumerate(self.stages):
--> 316 java_stages[idx] = stage._to_java()
317
318 _java_obj =\
AttributeError: 'MyCustomTransformer' object has no attribute '_to_java'
我的自定义转换器继承自,pyspark.ml.Transformer
但似乎需要_to_java()
实现 mleap 序列化才能工作?
我有什么选择?