5

我有一个可以为我提供不同巴士路线 ( ) 的data.table位置 (origin和) 之间的连接。destinationroute_id

library(data.table)
library(magrittr)

# data for reproducible example
  dt <- data.table( origin = c('A','B','C', 'F', 'G', 'H'), 
                    destination = c('B','C','D', 'G', 'H', 'I'),
                    freq = c(2,2,2,10,10,10),
                    route_id = c(1,1,1,2,2,2), stringsAsFactors=FALSE )
# > dt
#    origin destination freq route_id
# 1:      A           B    2        1
# 2:      B           C    2        1
# 3:      C           D    2        1
# 4:      F           G   10        2
# 5:      G           H   10        2
# 6:      H           I   10        2

出于我想要做的目的，如果有一个route_id提供一个连接A-B和一个连接的连接B-C，那么我想在数据中添加一个A-C相同的连接route_id等等。

问题：到目前为止，我已经创建了一个简单的代码来完成这项工作，但是：

  1. 它使用了一个for loop需要很长时间的（我的真实数据有数十万个观察值）
  2. 它仍然不能很好地应对方向。连接的方向在这里很重要。因此，虽然B-C原始数据中有连接，但输出中应该没有C-B。 在此处输入图像描述

我的缓慢解决方案

 # loop
   # a) get a data subset corresponding to each route_id
   # b) get all combinations of origin-destination pairs 
   # c) row bind the new pairs to original data
   for (i in unique(dt$route_id)) {
               temp <- dt[ route_id== i,]
               subset_of_pairs <- expand.grid(temp$origin, temp$destination) %>% setDT()
               setnames(subset_of_pairs, c("origin", "destination"))
               dt <- rbind(dt, subset_of_pairs, fill=T)
               }

# assign route_id and freq to new pairs
  dt[, route_id := route_id[1L], by=origin]
  dt[, freq := freq[1L], by=route_id]

# Keepe only different pairs that are unique
  dt[, origin := as.character(origin) ][, destination := as.character(destination) ]
  dt <- dt[ origin != destination, ][order(route_id, origin, destination)]
  dt <- unique(dt)

期望的输出

    origin destination freq route_id
 1:      A           B    2        1
 2:      A           C    2        1
 3:      A           D    2        1
 4:      B           C    2        1
 5:      B           D    2        1
 6:      C           D    2        1
 7:      F           G   10        2
 8:      F           H   10        2
 9:      F           I   10        2
10:      G           H   10        2
11:      G           I   10        2
12:      H           I   10        2
4

1 回答 1

4

单程：

res = dt[, {
  stops = c(origin, last(destination))
  pairs = combn(.N + 1L, 2L)
  .(o = stops[pairs[1,]], d = stops[pairs[2,]])
}, by=route_id]

    route_id o d
 1:        1 A B
 2:        1 A C
 3:        1 A D
 4:        1 B C
 5:        1 B D
 6:        1 C D
 7:        2 F G
 8:        2 F H
 9:        2 F I
10:        2 G H
11:        2 G I
12:        2 H I

这是假设这c(origin, last(destination))是按顺序排列的完整站点列表。如果dt不包含足够的信息来构建完整的订单，任务就会变得更加困难。

如果需要 vars from，dt则可以使用更新连接res[dt, on=.(route_id), freq := i.freq]。

像这样的任务总是有内存不足的风险。在这种情况下，OP 有多达一百万行，其中包含多达 341 个停靠点的组，因此最终结果可能高达1e6/341*choose(341,2)= 1.7 亿行。这是可以管理的，但通常这种分析无法扩展。

这个怎么运作

通常，可以将 data.table 语法视为组上的循环：

DT[, { 
  ...
}, by=g]

与循环相比，这有一些优点：

  • 体内创建的任何...内容都不会污染工作空间。
  • 所有列都可以按名称引用。
  • 可以使用特殊符号.N、.SD和.GRP以及for 。.BY.()list()

在上面的代码中，pairs查找取自 1 .. #stops 的索引对（=.N+1，其中 .N 是与给定 route_id 关联的数据子集中的行数）。它是一个矩阵，第一行对应一对中的第一个元素；第二行与第二行。...应该评估为列列表；这里list()缩写为.()。

进一步改进

我猜大部分时间都花在了计算上combn。如果多条路线有相同的#stops，这可以通过预先计算来解决：

Ns = dt[,.N, by=route_id][, unique(N)]
cb = lapply(setNames(,Ns), combn, 2)

然后抓取pairs = cb[[as.character(.N)]]主代码。或者，定义一个pairs使用记忆的函数来避免重新计算。

于 2017-05-01T21:32:31.997 回答