这个问题可能过于特定于包,但我会重视我predict
在数据集上使用该函数时可能出现的问题。
我正在使用的程序如下:
require(penalized)
# neg contains negative data
# pos contains positive data
现在,下面的过程旨在构建可比较的(在正面和负面案例方面平衡)训练和验证数据集。
# 50% negative training set
negSamp <- neg %>% sample_frac(0.5) %>% as.data.frame()
# Negative validation set
negCompl <- neg[setdiff(row.names(neg),row.names(negSamp)),]
# 50% positive training set
posSamp <- pos %>% sample_frac(0.5) %>% as.data.frame()
# Positive validation set
posCompl <- pos[setdiff(row.names(pos),row.names(posSamp)),]
# Combine sets
validat <- rbind(negSamp,posSamp)
training <- rbind(negCompl,posCompl)
好的,所以我们现在有两个可比较的集合。
[1] FALSE TRUE
> dim(training)
[1] 1061 381
> dim(validat)
[1] 1060 381
> identical(names(training),names(validat))
[1] TRUE
我将模型拟合到训练集没有问题(我在这里尝试使用一系列 Lambda1 值)。但是,将模型拟合到验证数据集失败了,只是奇怪的错误描述。
> fit <- penalized(VoiceTremor,training[-1],data=training,lambda1=40,standardize=TRUE)
# nonzero coefficients: 13
> fit2 <- predict(fit, penalized=validat[-1], data=validat)
Error in .local(object, ...) :
row counts of "penalized", "unpenalized" and/or "data" do not match
只是为了确保这不是由于数据集中的某些 NA:
> identical(validat,na.omit(validat))
[1] TRUE
奇怪的是,我可能会生成一些与正确数据集相当的新数据:
data.frame(VoiceTremor="NVT",matrix(rnorm(380000),nrow=1000,ncol=380) ) -> neg
data.frame(VoiceTremor="VT",matrix(rnorm(380000),nrow=1000,ncol=380) ) -> pos
> dim(pos)
[1] 1000 381
> dim(neg)
[1] 1000 381
and run the procedure above, and then the second fit works! How come? What could be wrong with my second (not training) data set?