0

我正在为我的研究项目使用一个极其不平衡的数据集，总共有 44 个样本。这是一个二元分类问题，有 3/44 个少数类样本，我正在使用 Leave One Out Cross Validation。如果我在 LOOCV 循环之前对整个数据集执行 SMOTE 过采样，则 ROC 曲线的预测精度和 AUC 分别接近 90% 和 0.9。但是，如果我只对 LOOCV 循环内的训练集进行过采样（这恰好是一种更合乎逻辑的方法），ROC 曲线的 AUC 会低至 0.3

我还尝试了精确召回曲线和分层 k 折交叉验证，但在循环内外过采样的结果中遇到了类似的区别。请建议我什么是过采样的正确位置，并尽可能解释区别。

循环内的过采样：-

i=0
acc_dec = 0
y_test_dec=[] #Store y_test for every split
y_pred_dec=[] #Store probablity for positive label for every split

for train, test in loo.split(X):    #Leave One Out Cross Validation
    #Create training and test sets for split indices
    X_train = X.loc[train]  
    y_train = Y.loc[train]
    X_test = X.loc[test]
    y_test = Y.loc[test]

    #oversampling minority class using SMOTE technique
    sm = SMOTE(sampling_strategy='minority',k_neighbors=1)
    X_res, y_res = sm.fit_resample(X_train, y_train)

    #KNN
    clf = KNeighborsClassifier(n_neighbors=5) 
    clf = clf.fit(X_res,y_res)
    y_pred = clf.predict(X_test)
    acc_dec = acc_dec +  metrics.accuracy_score(y_test, y_pred)
    y_test_dec.append(y_test.to_numpy()[0])
    y_pred_dec.append(clf.predict_proba(X_test)[:,1][0])
    i+=1

# Compute ROC curve and ROC area for each class
fpr,tpr,threshold=metrics.roc_curve(y_test_dec,y_pred_dec,pos_label=1)
roc_auc = metrics.auc(fpr, tpr)
print(str(acc_dec/i*100)+"%")

曲线下面积：0.25

准确度：68.1%

循环外的过采样：

acc_dec=0 #accuracy for decision tree classifier
y_test_dec=[] #Store y_test for every split
y_pred_dec=[] #Store probablity for positive label for every split
i=0
#Oversampling before the loop
sm = SMOTE(k_neighbors=1)
X, Y = sm.fit_resample(X, Y)   
X=pd.DataFrame(X)
Y=pd.DataFrame(Y)
for train, test in loo.split(X):    #Leave One Out Cross Validation

    #Create training and test sets for split indices
    X_train = X.loc[train]  
    y_train = Y.loc[train]
    X_test = X.loc[test]
    y_test = Y.loc[test]

    #KNN
    clf = KNeighborsClassifier(n_neighbors=5) 
    clf = clf.fit(X_res,y_res)
    y_pred = clf.predict(X_test)
    acc_dec = acc_dec +  metrics.accuracy_score(y_test, y_pred)
    y_test_dec.append(y_test.to_numpy()[0])
    y_pred_dec.append(clf.predict_proba(X_test)[:,1][0])
    i+=1

# Compute ROC curve and ROC area for each class
fpr,tpr,threshold=metrics.roc_curve(y_test_dec,y_pred_dec,pos_label=1)
roc_auc = metrics.auc(fpr, tpr)
print(str(acc_dec/i*100)+"%")

曲线下面积：0.99

准确度：90.24%

这两种方法怎么会导致如此不同的结果？我要遵循什么？

4

1 回答 1

1

在拆分数据之前进行上采样（如 SMOTE）意味着有关训练集的信息存在于测试集中。这有时被称为“泄漏”。不幸的是，您的第一个设置是正确的。

这是一个解决这个问题的帖子。

于 2019-06-13T10:17:15.577 回答