1

我正在做一个很少的部署。我使用 sklearn 创建了自定义管道，它位于MyPipelines/CustomPipelines.py目录中。主要代码即。my_prediction.py是 seldon 默认执行的文件（基于我的配置）。在这个文件中，我正在导入自定义管道。如果我在本地（PyCharm）中执行 my_prediction.py ，它执行得很好。但是如果我使用 Seldon 部署它，我会收到错误消息：Attribute Error: Can't get Attribute 'MyEncoder'

它无法在 CustomPipelines.py 中加载模块。我尝试了Unable to load files using pickle and multiple modules中的所有解决方案，但它们都不起作用。

MyPipelines/CustomPipelines.py

from sklearn.preprocessing import LabelEncoder
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline

class MyEncoder(BaseEstimator, TransformerMixin):
    def __init__(self):
        super().__init__()

    def fit(self, X, y=None):
        return self

    def transform(self, X, y=None):
        df = X
        vars_cat = [var for var in df.columns if df[var].dtypes == 'O']
        cat_with_na = [var for var in vars_cat if df[var].isnull().sum() > 0]
        df[cat_with_na] = df[cat_with_na].fillna('Missing')

        return df

我的预测.py

import pickle
import pandas as pd
import dill
from MyPipelines.CustomPipelines import MyEncoder
from MyPipelines.CustomPipelines import *
import MyPipelines.CustomPipelines

class my_prediction:
   
    def __init__(self):

        file_name = 'model.sav'
        with open(file_name, 'rb') as model_file:
                self.model = pickle.load(model_file)

    def predict(self, request):
        data = request.get('ndarray')
        columns = request.get('names')
        X = pd.DataFrame(data, columns = columns)
        predictions = self.model.predict(X)
        return predictions

错误：

File microservice/my_prediction.py in __init__                       
self.model = pickle.load(model_file)                 
Attribute Error: Can't get Attribute 'MyEncoder' on <module '__main__' from 'opt/conda/bin/seldon-core-microservice'
4

1 回答 1

2

该模块的限制之一pickle是它期望相同的类（在相同的模块下）在工件被unpickled的环境中可用。在这种情况下，您的班级似乎my_prediction正在尝试解开MyEncoder工件，但该班级在该环境中不可用。

作为一种快速的解决方法，您可以尝试使您的MyEncoder课程在my_prediction运行的环境中可用（即那里也存在相同的文件夹/文件）。否则，您可以查看pickle、 likecloudpickle或的替代方案dill，它们也可以序列化您的自定义代码（尽管这些也带有自己的一组警告）。

于 2021-10-27T15:27:47.873 回答