1

我有两个长度不等的单向量数据帧

aa<-data.frame(c(2,12,35))
bb<-data.frame(c(1,2,3,4,5,6,7,15,22,36))

对于 aa 中的每个观察，我想计算 bb 小于 aa 的实例数

我的结果：

   bb<aa 
1   1
2   7
3   9

通过创建函数和使用应用，我已经能够通过两种方式做到这一点，但是我的数据集很大，我让一个运行一整夜没有结束。

是）我有的：

fun1<-function(a,b){k<-colSums(b<a)
                    k<-k*.000058242}

system.time(replicate(5000,data.frame(apply(aa,1,fun1,b=bb))))
       user  system elapsed 
      3.813   0.011   3.883

第二，

fun2<-function(a,b){k<-length(which(b<a))
                    k<-k*.000058242}

system.time(replicate(5000,data.frame(apply(aa,1,fun2,b=bb))))
   user  system elapsed 
  3.648   0.006   3.664

第二个函数在我所有的测试中都稍微快一点，但是我让第一个函数在 bb>1.7m 和 aa>160k 的数据集上运行了一整夜

我找到了这篇文章，并尝试使用 with() 但似乎无法使其正常工作，还尝试了 for 循环但没有成功。

任何帮助或方向表示赞赏。

谢谢！

4

2 回答 2

2 
aa<-data.frame(c(2,12,35))
bb<-data.frame(c(1,2,3,4,5,6,7,15,22,36))
sapply(aa[[1]],function(x)sum(bb[[1]]<x))
# [1] 1 7 9

一些更现实的例子：

n  <- 1.6e3
bb <- sample(1:n,1.7e6,replace=T)
aa <- 1:n
system.time(sapply(aa,function(x)sum(bb<x)))
#    user  system elapsed 
#   14.63    2.23   16.87 

n  <- 1.6e4
bb <- sample(1:n,1.7e6,replace=T)
aa <- 1:n
system.time(sapply(aa,function(x)sum(bb<x)))
#    user  system elapsed 
#  148.77   18.11  167.26

因此，length(aa) = 1.6e4这大约需要 2.5 分钟（在我的系统上），并且该过程按比例缩放O(length(aa))- 这并不奇怪。因此，对于您的完整数据集，它应该在大约 25 分钟内运行。还是有点慢。也许其他人会想出更好的方法。

于 2014-12-05T19:07:08.927 回答
0

我原来的帖子我找了多少次bb

所以在我的例子中

aa<-data.frame(c(2,12,35))
bb<-data.frame(c(1,2,3,4,5,6,7,15,22,36))

 x<-ecdf(bb[,1])

 x(2)

[1] 0.2

 x(12)

[1] 0.7

 x(35)

[1] 0.9

为了在我原来的帖子中得到答案，我需要乘以 bb 中的数据点数，在这种情况下为 10。虽然第一个不一样，因为在我原来的帖子中我说过 bb

我正在处理每个超过 100 万个数据点的土地高程和水位高程的大型数据集，但最后我正在创建一个淹没曲线。我想知道在给定超标概率的情况下，有多少土地会被淹没。

因此，在所有 100 万个数据点上使用上述 ecdf() 函数仍然很耗时，但我意识到我不需要所有数据点就足以创建我的曲线。

因此，我将 ecdf() 函数应用于整个土地数据集，然后创建了一个足够大的水高程序列以创建我需要的曲线，但又足够小以至于可以快速计算它。 

land_elevation <- data.frame(rnorm(1e6))
water_elevation<- data.frame(rnorm(1e6))

cdf_land<- ecdf(land_elevation[,1])

elevation_seq <- seq(from = min(water_elevation[,1]), to = max(water_elevation[,1]), length.out = 1000)

land                  <- sapply(elevation_seq, cdf_land)

我的结果是一样的，但它们要快得多。

于 2015-01-05T04:01:54.947 回答