13

我有一个大型空间数据集(12M 行)。几何图形是地图上的点。对于数据集中的每一行,我想找到该点 500 米范围内的所有点。

在 r 中,使用 sf,我一直在尝试通过并行循环每一行并运行 st_buffer 和 st_intersects 来做到这一点,然后将结果保存为键值格式的列表(键是原点,值是邻居)。

问题是数据集太大。即使并行处理超过 60 个内核,操作也需要很长时间(>1 周并且通常会崩溃)。

这种蛮力方法的替代方法是什么?是否可以使用 sf 构建索引?也许将操作推送到外部数据库?

代表:

library(sf)
library(tidyverse)
library(parallel)
library(foreach)


# example data, convert to decimal:
nc <- st_read(system.file("shape/nc.shp", package="sf")) %>% st_transform(32618)
# expand the data a a bit to make the example more interesting:
nc <- rbind(nc,nc,nc)
nc <- nc %>% mutate(Id = row_number())


## can run in parallel if desired:
# num_cores <- parallel::detectCores()-2
# cl <- makeSOCKcluster(num_cores)
# registerDoSNOW(cl)

# or just run in sequence:
registerDoSEQ()

neighbors <- foreach(ii = 1:nrow(nc)
                      , .verbose = FALSE
                      , .errorhandling = "pass") %dopar% {

                        l = 500 # 500 meters

                        # isolate the row as the origin point:
                        row_interest <- filter(nc, row_number()==ii)

                        # create the buffer:
                        buffer <- row_interest %>% st_buffer(dist = l)

                        # extract the row numbers of the neighbors
                        comps_idx <- suppressMessages(st_intersects(buffer, nc))[[1]]

                        # get all the neighbors:
                        comps <- nc %>% filter(row_number() %in% comps_idx)

                        # remove the geometry:
                        comps <- comps %>% st_set_geometry(NULL)

                        # flow control in case there are no neibors:
                        if(nrow(comps)>0) {
                          comps$Origin_Key <- row_interest$Id
                        } else {
                          comps <- data_frame("lat" = NA_integer_,"lon" = NA_integer_, "bbl" = row_interest$bbl)
                          comps$Origin_Key <- row_interest$Id
                        }


                        return(comps)
                      }

closeAllConnections()

length(neighbors)==nrow(nc)
[1] TRUE
4

3 回答 3

12

处理sf对象时,显式循环特征以执行二元操作(例如相交)通常会适得其反(另请参阅 如何在 `dplyr::mutate()` 中加快空间操作?

类似于您的方法(即缓冲和相交),但没有显式for循环效果更好。

让我们看看它在一个相当大的 50000 点数据集上的表现:

library(sf)
library(spdep)
library(sf)

pts <- data.frame(x = runif(50000, 0, 100000),
                  y = runif(50000, 0, 100000))
pts     <- sf::st_as_sf(pts, coords = c("x", "y"), remove = F)
pts_buf <- sf::st_buffer(pts, 5000)
coords  <- sf::st_coordinates(pts)

microbenchmark::microbenchmark(
  sf_int = {int <- sf::st_intersects(pts_buf, pts)},
  spdep  = {x   <- spdep::dnearneigh(coords, 0, 5000)}
  , times = 1)
#> Unit: seconds
#>    expr       min        lq      mean    median        uq       max neval
#>  sf_int  21.56186  21.56186  21.56186  21.56186  21.56186  21.56186     1
#>   spdep 108.89683 108.89683 108.89683 108.89683 108.89683 108.89683     1

您可以在此处看到该st_intersects方法比该方法快 5 倍dnearneigh

不幸的是,这不太可能解决您的问题。查看不同大小数据集的执行时间,我们得到:

subs <- c(1000, 3000, 5000, 10000, 15000, 30000, 50000)
times <- NULL
for (sub in subs[1:7]) {
  pts_sub <- pts[1:sub,]
  buf_sub <- pts_buf[1:sub,]
  t0 <- Sys.time()
  int <- sf::st_intersects(buf_sub, pts_sub)
  times <- cbind(times, as.numeric(difftime(Sys.time() , t0, units = "secs")))
}

plot(subs, times)

times <- as.numeric(times)
reg <- lm(times~subs+I(subs^2))
summary(reg)
#> 
#> Call:
#> lm(formula = times ~ subs + I(subs^2))
#> 
#> Residuals:
#>        1        2        3        4        5        6        7 
#> -0.16680 -0.02686  0.03808  0.21431  0.10824 -0.23193  0.06496 
#> 
#> Coefficients:
#>               Estimate Std. Error t value Pr(>|t|)    
#> (Intercept)  2.429e-01  1.371e-01   1.772    0.151    
#> subs        -2.388e-05  1.717e-05  -1.391    0.237    
#> I(subs^2)    8.986e-09  3.317e-10  27.087  1.1e-05 ***
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#> 
#> Residual standard error: 0.1908 on 4 degrees of freedom
#> Multiple R-squared:  0.9996, Adjusted R-squared:  0.9994 
#> F-statistic:  5110 on 2 and 4 DF,  p-value: 1.531e-07

在这里,我们看到时间和点数之间几乎完美的二次关系(正如预期的那样)。在 10M 点子集上,假设行为没有改变,您将得到:

predict(reg, newdata = data.frame(subs = 10E6))
#>        1 
#> 898355.4

,这对应于大约 10 天,假设在进一步增加点数时趋势是恒定的(但同样会发生在 dnearneigh...)

我的建议是将您的点“拆分”成块,然后在每个拆分的基础上工作。

例如,您可以在开始时沿 x 轴排序您的点,然后使用 data.table 轻松快速地提取缓冲区和点的子集,以便与它们进行比较。

显然,根据比较距离,“点”缓冲区需要大于“缓冲区”的缓冲区。因此,例如,如果您制作pts_buf质心在 [50000 - 55000] 中的子集,则相应的子集pts应包括 [49500 - 55500] 范围内的点。foreach通过将不同的子集分配给一个或类似结构中的不同核心,这种方法很容易并行化。

我什至不知道在这里使用空间对象/操作是否有益,因为一旦我们有了坐标,所有需要的就是计算和子集欧几里德距离:我怀疑一个仔细编码的基于蛮力data.table的方法也可能是一个可行的解决方案。

更新

最后,我决定试一试,看看我们能从这种方法中获得多少速度。这是一个可能的实现:

points_in_distance_parallel <- function(in_pts,
                                        maxdist,
                                        ncuts = 10) {

  require(doParallel)
  require(foreach)
  require(data.table)
  require(sf)
  # convert points to data.table and create a unique identifier
  pts <-  data.table(in_pts)
  pts <- pts[, or_id := 1:dim(in_pts)[1]]

  # divide the extent in quadrants in ncuts*ncuts quadrants and assign each
  # point to a quadrant, then create the index over "xcut"
  range_x  <- range(pts$x)
  limits_x <-(range_x[1] + (0:ncuts)*(range_x[2] - range_x[1])/ncuts)
  range_y  <- range(pts$y)
  limits_y <- range_y[1] + (0:ncuts)*(range_y[2] - range_y[1])/ncuts
  pts[, `:=`(xcut =  as.integer(cut(x, ncuts, labels = 1:ncuts)),
             ycut = as.integer(cut(y, ncuts, labels = 1:ncuts)))] %>%
    setkey(xcut, ycut)

  results <- list()

  cl <- parallel::makeCluster(parallel::detectCores() - 2, type =
                                ifelse(.Platform$OS.type != "windows", "FORK",
                                       "PSOCK"))
  doParallel::registerDoParallel(cl)
  # start cycling over quadrants
  out <- foreach(cutx = seq_len(ncuts)), .packages = c("sf", "data.table")) %dopar% {

    count <- 0

    # get the points included in a x-slice extended by `dist`, and build
    # an index over y
    min_x_comp    <- ifelse(cutx == 1, limits_x[cutx], (limits_x[cutx] - maxdist))
    max_x_comp    <- ifelse(cutx == ncuts,
                            limits_x[cutx + 1],
                            (limits_x[cutx + 1] + maxdist))
    subpts_x <- pts[x >= min_x_comp & x < max_x_comp] %>%
      setkey(y)

    for (cuty in seq_len(pts$ycut)) {

      count <- count + 1

      # subset over subpts_x to find the final set of points needed for the
      # comparisons
      min_y_comp  <- ifelse(cuty == 1,
                            limits_y[cuty],
                            (limits_y[cuty] - maxdist))
      max_y_comp  <- ifelse(cuty == ncuts,
                            limits_y[cuty + 1],
                            (limits_y[cuty + 1] + maxdist))
      subpts_comp <- subpts_x[y >= min_y_comp & y < max_y_comp]

      # subset over subpts_comp to get the points included in a x/y chunk,
      # which "neighbours" we want to find. Then buffer them.
      subpts_buf <- subpts_comp[ycut == cuty & xcut == cutx] %>%
        sf::st_as_sf() %>%
        st_buffer(maxdist)

      # retransform to sf since data.tables lost the geometric attrributes
      subpts_comp <- sf::st_as_sf(subpts_comp)

      # compute the intersection and save results in a element of "results".
      # For each point, save its "or_id" and the "or_ids" of the points within "dist"

      inters <- sf::st_intersects(subpts_buf, subpts_comp)

      # save results
      results[[count]] <- data.table(
        id = subpts_buf$or_id,
        int_ids = lapply(inters, FUN = function(x) subpts_comp$or_id[x]))

    }
    return(data.table::rbindlist(results))
  }
parallel::stopCluster(cl)
data.table::rbindlist(out)
}

该函数将sf对象目标距离和用于在象限中划分范围的“切割”数量作为输入,并在输出中提供一个数据框,其中对于每个原始点,点的“ID”在 列表栏内maxdist报告int_ids

在具有不同数量的均匀分布点的测试数据集上,maxdist我得到了两个值这样的结果(“并行”运行是使用 6 个核心完成的):

在此处输入图像描述

因此,在这里,我们已经在“串行”实现上获得了 5-6 倍的速度提升,另外 5 倍归功于 6 个内核的并行化。尽管这里显示的时间只是指示性的,并且与我们构建的特定测试数据集有关(在分布不太均匀的数据集上,我预计速度会降低),但我认为这非常好。

PS:更彻底的分析可以在这里找到:

https://lbusettspatialr.blogspot.it/2018/02/speeding-up-spatial-analysiss-by.html

于 2018-02-09T11:22:28.507 回答
1

我有两种选择,一种看起来更快,另一种则不然。不幸的是,更快的方法可能不适用于并行化,因此它可能无济于事。

library(sf)
nc <- st_transform(st_read(system.file("shape/nc.shp", package="sf")), 32618)
# create points
pts <- st_centroid(nc)

dis <- 50000
result <- list()

你的方法

system.time(
for (i in 1:nrow(pts)) {
    b <- st_buffer(pts[i,], dist = dis)
    result[[i]] <- st_intersects(b, nc)[[1]]
}
)

较慢的替代方案

system.time(
for (i in 1:nrow(pts)) {
    b <- as.vector(st_distance(pts[i,], pts))
    result[[i]] <- which(b <= dis)
}
)

对于较小的数据集,没有循环:

x <- st_distance(pts)
res <- apply(x, 1, function(i) which(i < dis)) 

更快的替代方案(不明显如何并行执行),并且可能是不公平的比较,因为我们自己不进行循环

library(spdep)
pts2 <- st_coordinates(pts)
system.time(x <- dnearneigh(pts2, 0, dis))

我会首先得到一个包含指示邻居的索引的列表,然后提取属性(应该很快)

于 2018-02-07T05:40:39.630 回答
0

根据 RobertH 的回答,在此特定示例中使用 sf::st_coordinates 提取坐标要快一些。

library(sf)
library(spdep)
nc <- st_transform(st_read(system.file("shape/nc.shp", package="sf")), 32618)
# create points
pts <- st_centroid(nc)

dis <- 50000

# quickest solution:
x <- spdep::dnearneigh(sf::st_coordinates(pts), 0, dis)

微基准测试:

my_method <- function(pts) {
  result <- list()
  for (i in 1:nrow(pts)) {
    b <- st_buffer(pts[i,], dist = dis)
    result[[i]] <- st_intersects(b, nc)[[1]]
  }
  result
}

library(microbenchmark)

microbenchmark(
  my_method(pts),
  dnearneigh(as(pts, 'Spatial'), 0, dis),
  dnearneigh(st_coordinates(pts), 0, dis)
)

Unit: microseconds
                                    expr        min          lq        mean      median          uq        max neval
                          my_method(pts) 422807.146 427434.3450 435974.4320 429862.8705 434968.3975 596832.271   100
  dnearneigh(as(pts, "Spatial"), 0, dis)   3727.221   3939.8540   4155.3094   4112.8200   4221.9525   7592.739   100
 dnearneigh(st_coordinates(pts), 0, dis)    394.323    409.5275    447.1614    430.4285    484.0335    611.970   100

检查等价性:

x <-  dnearneigh(as(pts, 'Spatial'), 0, dis)
y <- dnearneigh(st_coordinates(pts), 0, dis)

all.equal(x,y, check.attributes = F)
[1] TRUE
于 2018-02-07T17:14:36.787 回答