22

问题：我的情况似乎是在运行 gridsearchcv 时出现内存泄漏。当我使用 1 或 32 个并发工作人员 (n_jobs=-1) 运行时，就会发生这种情况。以前我在 ubuntu 16.04 上运行了很多次，但最近升级到 18.04 并进行了 ram 升级。

import os
import pickle
from xgboost import XGBClassifier
from sklearn.model_selection import GridSearchCV,StratifiedKFold,train_test_split
from sklearn.calibration import CalibratedClassifierCV
from sklearn.metrics import make_scorer,log_loss
from horsebet import performance
scorer = make_scorer(log_loss,greater_is_better=True)
kfold = StratifiedKFold(n_splits=3)

# import and split data
input_vectors = pickle.load(open(os.path.join('horsebet','data','x_normalized'),'rb'))
output_vector = pickle.load(open(os.path.join('horsebet','data','y'),'rb')).ravel()
x_train,x_test,y_train,y_test = train_test_split(input_vectors,output_vector,test_size=0.2)


# XGB
model = XGBClassifier()
param = {
        'booster':['gbtree'],
        'tree_method':['hist'],
       'objective':['binary:logistic'],
        'n_estimators':[100,500],
        'min_child_weight': [.8,1],
        'gamma': [1,3],
        'subsample': [0.1,.4,1.0],
        'colsample_bytree': [1.0],
        'max_depth': [10,20],
        }                           

jobs = 8
model = GridSearchCV(model,param_grid=param,cv=kfold,scoring=scorer,pre_dispatch=jobs*2,n_jobs=jobs,verbose=5).fit(x_train,y_train)

返回： UserWarning：当一些工作被分配给执行者时，一个工人停止了。这可能是由于工作人员超时时间过短或内存泄漏造成的。“超时或内存泄漏。”，用户警告

或者

TerminatedWorkerError：执行器管理的工作进程意外终止。这可能是由于调用函数时出现分段错误或内存使用过多导致操作系统杀死工作人员造成的。工人的退出代码是 {SIGKILL(-9)}

4

2 回答 2

46

我的问题的原因是我将 n_jobs=-1 放在 gridsearchcv 中，而它应该放在分类器中。这已经解决了这个问题。

于 2019-04-28T02:02:52.167 回答
-2

虽然，它不是完全相同的问题，但我在使用 skopt gp_minimize() 方法时遇到了同样的错误。尽管文档说 gp_minimize() 支持 n_jobs，但它在我的 mac 上开始失败。当我将它 n_jobs 移动到底层 XGBClassifier 时，它运行良好。

这没有用 
gp_minimize(_minimize, param_space, n_calls=20, n_random_starts=3, random_state=2405)
这有效 
xgb = xgboost.XGBClassifier(
        n_estimators=1000, # use large n_estimators deliberately to make use of the early stopping
        objective='binary:logistic',
        n_jobs=-1
    )
于 2020-01-13T01:02:15.543 回答