5

我正在为 4000 个变量的数据框做一个相关矩阵，我想删除显示 > 0.5 相关性的变量，所以我使用 {caret} 包中的这个命令。

removeme <- findCorrelation(corrMatrix, cutoff = 0.5, verbose = FALSE)

Error in if (mean(x[i, -i]) > mean(x[-j, j])) { : 
missing value where TRUE/FALSE needed

我拥有的数据是高度可变的，我在这里和那里得到 NA 值。首先，我在这个命令的帮助页面上找不到可以处理 NA 值的东西，所以我决定自己删除 NA 值。

有些变量在整个数据中一直显示 NA 值，有些则显示很少的 NA 值。我正在尝试删除导致任何 NA 值的变量，以便能够使用上述命令。这是我的数据看起来像的最小示例

dput(df) <- structure(list(GK = 1:10, HGF = c(0L, 0L, 0L, 0L, 0L, 0L, 0L, 
0L, 0L, 0L), HJI = c(2L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), 
    HDF = c(5L, 6L, 8L, 9L, 5L, 2L, 4L, 3L, 2L, 1L), KLJG = c(0L, 
    0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), KLJA = c(0L, 0L, 0L, 
    0L, 0L, 0L, 0L, 0L, 0L, 0L), KDA = c(10L, 11L, 15L, 18L, 
    11L, 10L, 10L, 15L, 12L, 13L), OIE = c(NA, NA, NA, NA, NA, 
    NA, NA, NA, NA, NA), AFE = c(0L, 0L, 0L, 1L, 0L, 0L, NA, 
    NA, NA, NA)), .Names = c("GK", "HGF", "HJI", "HDF", "KLJG", 
"KLJA", "KDA", "OIE", "AFE"), class = "data.frame", row.names = c(NA, 
-10L))

corrMatrix <- cor(df,use="pairwise.complete.obs")

摆脱这些烦人的变量的最佳主意是什么？我尝试了许多命令，但没有找到一个可以摆脱这些变量的理想命令。这是我的试验之一：

removeme <- corrMatrix[,which(as.numeric(rowSums(is.na(corrMatrix))) > 100)]

此命令的问题是，如果有超过 100 个错误变量（在相关矩阵中给出 NA），则将删除正常变量，因为正常变量的列将具有 > 100 个 NA 值。

我希望这个编辑让我的问题更清楚。干杯。

4

3 回答 3

22

如果您只是想摆脱任何包含一个或多个NAs 的列，那么只需执行

x<-x[,colSums(is.na(x))==0]

NA但是，即使缺少数据，您也可以通过在函数中指定use参数来计算没有值的相关矩阵cor。将其设置为pairwise.complete.obsorcomplete.obs将导致没有NAs 的相关矩阵。

complete.obs将忽略所有缺失数据的行，而pairwise.complete.obs只会忽略缺失的数据对。请注意，虽然pairwise.complete.obs“听起来更好”，因为它使用了更多可用数据，但不能保证产生正定相关矩阵，这可能是一个问题。

> set.seed(123)
> x<-array(rnorm(500),c(100,5))
> x[sample(500,3)]<-NA
> cor(x)
     [,1] [,2] [,3]        [,4]        [,5]
[1,]    1   NA   NA          NA          NA
[2,]   NA    1   NA          NA          NA
[3,]   NA   NA    1          NA          NA
[4,]   NA   NA   NA  1.00000000 -0.01925986
[5,]   NA   NA   NA -0.01925986  1.00000000
> cor(x,use="pairwise.complete.obs")
            [,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.04377085 -0.18049501 -0.04914247 -0.19374986
[2,] -0.04377085  1.00000000  0.01296008  0.02606083 -0.12333765
[3,] -0.18049501  0.01296008  1.00000000 -0.03218139 -0.02675554
[4,] -0.04914247  0.02606083 -0.03218139  1.00000000 -0.01925986
[5,] -0.19374986 -0.12333765 -0.02675554 -0.01925986  1.00000000
> cor(x,use="complete.obs")
            [,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.06263112 -0.17914810 -0.02574970 -0.20504268
[2,] -0.06263112  1.00000000  0.01263764  0.02543900 -0.12571570
[3,] -0.17914810  0.01263764  1.00000000 -0.03866312 -0.02520500
[4,] -0.02574970  0.02543900 -0.03866312  1.00000000 -0.01688848
[5,] -0.20504268 -0.12571570 -0.02520500 -0.01688848  1.00000000
于 2013-10-01T11:28:52.667 回答
6

在评估数据集预测变量的相关性之前，请删除零方差预测变量。

去除零方差预测变量

zv <- apply(df, 2, function(x) length(unique(x)) == 1)

dfr <- df[, !zv](suppose df is the name of your dataset)

n=length(colnames(dfr))

计算相关矩阵

correlationMatrix <- cor(dfr[,1:n],use="complete.obs")

总结相关矩阵

print(correlationMatrix)

查找高度校正的属性（理想情况下 > 0.7）

highlyCorrelated <- findCorrelation(correlationMatrix, cutoff=(0.7),verbose = FALSE)

打印高度相关属性的索引

print(highlyCorrelated)

重要变量

important_var=colnames(df[,-highlyCorrelated])
于 2016-05-13T05:06:12.677 回答
2

目前尚不清楚您要做什么。但这里有一个如何处理缺失值的例子。我在一个小矩阵中展示了这一点。

mm <- matrix(NA+0,ncol=4,nrow=3)
mm[1:3] <- 1
mm[8] <- 1

   [,1] [,2] [,3] [,4]
[1,]    1   NA   NA   NA
[2,]    1   NA    1   NA
[3,]    1   NA   NA   NA

删除所有元素为 NA 的列

mm[,!colSums(is.na(mm)) == nrow(mm),drop=FALSE]
    [,1] [,2]
[1,]    1   NA
[2,]    1    1
[3,]    1   NA

删除具有任何 NA 的列

mm[, !colSums(is.na(mm)) >1,drop=FALSE] ## you can also complete.cases
    [,1]
[1,]    1
[2,]    1
[3,]    1
于 2013-10-01T11:19:10.433 回答