1

我正在对不平衡数据进行二元分类任务。

由于在这种情况下准确性没有那么大的意义。我使用 Scikit-Learn 计算 Precision-Recall 曲线和 ROC 曲线以评估模型性能。

但是我发现当我使用带有大量估计器的随机森林时，两条曲线都是一条水平线，当我使用 SGD 分类器来拟合它时也会发生这种情况。

ROC图表如下：

在此处输入图像描述

以及 Precision-Recall 图表：

在此处输入图像描述

由于随机森林的行为是随机的，我不会在每次运行时都得到一条水平线，有时我也会得到一条规则的 ROC 和 PR 曲线。但水平线更为常见。

这是正常的吗？还是我在代码中犯了一些错误？

这是我的代码片段：

classifier.fit(X_train, Y_train)
try:
    scores = classifier.decision_function(X_test)
except:
    scores = classifier.predict_proba(X_test)[:,1]

precision, recall, _ = precision_recall_curve(Y_test, scores, pos_label=1)
average_precision = average_precision_score(Y_test, scores)

plt.plot(recall, precision, label='area = %0.2f' % average_precision, color="green")
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision Recall Curve')
plt.legend(loc="lower right")
plt.show()
4

3 回答 3

3

是的你可以。如果你将数据完美地分成两堆，那么当你的阈值越过你的一堆真阳性时，你就会从零垂直上升到 1 的真阳性率，而没有任何假阳性（垂直线），然后从 0 到 1 假阳性。当你的阈值超过你的一堆真底片时，你的正率。

如果您可以从测试集中获得相同的 ROC 曲线，那么您就是黄金。如果您可以在 5 个不同的 k 折交叉验证测试集上评估相同的 ROC 曲线，那么您就是白金级了。

于 2015-07-14T21:58:40.670 回答
2

与其他答案一起，您可能已将标签复制为数据集中的特征。因此，当在 RF 中进行采样时，您并不总是将该特征作为预测变量并获得“看起来正常”的 ROC 曲线（即其他特征无法准确预测标签）；当您确实在样本中获得重复的标签/特征时，您的模型根据定义具有 100% 的准确度。

SGD 可能有同样的问题，线性回归会失败。在线性回归中，您将有一个奇异/近奇异矩阵，并且估计会失败。使用 SGD，由于您是根据到达的每个下一个点重新估计，因此数学不会失败（尽管您的模型仍然值得怀疑）。

于 2015-07-14T14:50:25.090 回答
0

其他 2 个答案只是看到水平线的充分条件（也就是水平线的可能原因，但它们不是唯一的可能性）。这里是充要条件：

如果您在 PR 曲线中看到一条水平线，则它必须在顶部，这意味着阈值范围内的示例都是 TP。而且线越长，TP越多（因为线越长召回率越大）。

证明：

让我们将“TP”表示为真阳性，将“PP”表示为预测阳性，因此精度 = TP/PP。

水平线表示召回率增加了一些，而精度没有变化。让我们分别讨论这两件事：

  1. 召回率增加了一些->
  • TP增加了一些
  • 假设 TP 增加了最小的量，1。假设 x 是 PP 的增加量。根据定义 x>=1。
  1. 精度不变->
  • (TP+1)/(PP+x)=TP/PP 对 x 求解，我们有 x=TP/PP。因为精度 = TP/PP <=1，而我们刚刚说“根据定义 x>=1”，x 必须为 1。

这意味着 TP 和 PP 的增加都是 1，即只添加了正例。由于 x=TP/PP，我们也有精度 TP/PP=1。QED。

于 2021-04-11T14:28:06.567 回答