0

我使用 训练了一个二项式模型glm(Xtrain, ytrain, formula='cbind(Response, n - Response) ~ features', family='binomial')，其中 ytrain 是一个响应矩阵，其中包含计数（是）、计数（否）列。

我提供的测试响应与响应矩阵的形式相同。但是，predict() 函数返回概率——训练数据的每一行一个概率。我现在想使用 ROCR 或 AUC 包来生成 AUC 曲线，但我的预测和观察格式不同。有谁知道如何做到这一点？

好的。添加一个例子。原谅它毫无意义/排名不足/小，我只想说明我的情况。

plants <- c('Cactus', 'Tree', 'Cactus', 'Tree', 'Flower', 'Tree', 'Tree')
sun <- c('Full', 'Half', 'Half', 'Full', 'Full', 'Half', 'Full')
water <- c('N', 'Y', 'Y', 'N', 'Y', 'N', 'N')
died <- c(10, 10, 8, 2, 15, 20, 12)
didntdie <- c(2, 10, 8, 20, 10, 10, 10)
df <- data.frame(died, didntdie, plants, sun, water)
dftrain <- head(df, 5)
dftest <- tail(df, 2)
model <- glm("cbind(died, didntdie) ~ plants + sun + water", data=dftrain, family="binomial")

此时，predict(model, dftest)返回我的数据框中最后两组特征的对数几率（给出死亡概率）。现在我想计算一条 AUC 曲线。我的观察在dftest[c('died','didntdie')]. 我的预测本质上是概率。AUC、ROCR 等期望预测和观察都是伯努利响应的列表。我找不到有关如何使用此响应矩阵的文档。任何帮助表示赞赏。

4

1 回答 1

3

对于初学者，您可以扩展数据框以将二进制结果与利用weight=参数的计数合成为glm().

obs <- died + didntdie
df <- df[rep(1:length(obs), each= 2),] # one row for died and one for didn't
df$survived <- rep(c(0L,1L), times=length(obs)) # create binary outcome for survival
df$weight <- c(rbind(died, didntdie)) # assign weights
df

#     died didntdie plants  sun water survived weight
# 1     10        2 Cactus Full     N        0     10
# 1.1   10        2 Cactus Full     N        1      2
# 2     10       10   Tree Half     Y        0     10
# 2.1   10       10   Tree Half     Y        1     10
# 3      8        8 Cactus Half     Y        0      8
# 3.1    8        8 Cactus Half     Y        1      8
# 4      2       20   Tree Full     N        0      2
# 4.1    2       20   Tree Full     N        1     20
# 5     15       10 Flower Full     Y        0     15
# 5.1   15       10 Flower Full     Y        1     10
# 6     20       10   Tree Half     N        0     20
# 6.1   20       10   Tree Half     N        1     10
# 7     12       10   Tree Full     N        0     12
# 7.1   12       10   Tree Full     N        1     10

model <- glm(survived ~ plants + sun + water, data=df, family="binomial", weights = weight)

如果要进行训练/测试拆分，则需要进行另一次扩展，这次在weight. 否则，您的测试集不是随机的，至少是在单个工厂级别随机的，这可能会使您的结果无效（取决于您要得出的结论）。

因此你会做类似的事情

df <- df[rep(1:nrow(df), times = df$weight),]
model <- glm(survived ~ plants + sun + water, data=df, family="binomial") 
# note the model does not change

library(pROC)
auc(model$fitted.values, df$survived)
# Area under the curve: 0.5833

请注意，这是样本内 AUC。您应该使用随机保留（或者更好的是交叉验证）来估计样本外 AUC。除非行顺序已经随机化，否则使用 data.frame 的前 N ​​行进行拆分不是一个好主意。

于 2016-06-08T21:07:29.043 回答