如何在 R 中实现交叉连接？我知道“合并”可以做内连接，外连接。但我不知道如何在 R 中实现交叉连接。
谢谢
zjffdu
问问题
60124 次
10 回答
59
如果速度是一个问题，我建议查看优秀的data.table包。在最后的示例中，它比merge.
您没有提供示例数据。如果您只想获取两个（或多个单独）列的所有组合，您可以使用CJ（交叉连接）：
library(data.table)
CJ(x=1:2,y=letters[1:3])
# x y
#1: 1 a
#2: 1 b
#3: 1 c
#4: 2 a
#5: 2 b
#6: 2 c
如果您想在两个表上进行交叉连接，我还没有找到使用 CJ() 的方法。但你仍然可以使用data.table：
x2<-data.table(id1=letters[1:3],vals1=1:3)
y2<-data.table(id2=letters[4:7],vals2=4:7)
res<-setkey(x2[,c(k=1,.SD)],k)[y2[,c(k=1,.SD)],allow.cartesian=TRUE][,k:=NULL]
res
# id1 vals1 id2 vals2
# 1: a 1 d 4
# 2: b 2 d 4
# 3: c 3 d 4
# 4: a 1 e 5
# 5: b 2 e 5
# 6: c 3 e 5
# 7: a 1 f 6
# 8: b 2 f 6
# 9: c 3 f 6
#10: a 1 g 7
#11: b 2 g 7
#12: c 3 g 7
线路说明res：
- 基本上，您将一个虚拟列（在本例中为 k）添加到一个表并将其设置为键 (
setkey(tablename,keycolumns))，将虚拟列添加到另一个表，然后将它们连接起来。 - data.table 结构在连接中使用列位置而不是名称，因此您必须将虚拟列放在开头。该
c(k=1,.SD)部分是我发现在开头添加列的一种方式（默认是将它们添加到末尾）。 - 标准 data.table 连接的格式为
X[Y]. 在这种情况下，X 是setkey(x2[,c(k=1,.SD)],k)，而 Y 是y2[,c(k=1,.SD)]。 allow.cartesian=TRUE告诉data.table忽略重复的键值，并执行笛卡尔连接（以前的版本不需要这个）- 最后
[,k:=NULL]的只是从结果中删除虚拟键。
你也可以把它变成一个函数，这样使用起来更干净：
# Version 1; easier to write:
CJ.table.1 <- function(X,Y)
setkey(X[,c(k=1,.SD)],k)[Y[,c(k=1,.SD)],allow.cartesian=TRUE][,k:=NULL]
CJ.table.1(x2,y2)
# id1 vals1 id2 vals2
# 1: a 1 d 4
# 2: b 2 d 4
# 3: c 3 d 4
# 4: a 1 e 5
# 5: b 2 e 5
# 6: c 3 e 5
# 7: a 1 f 6
# 8: b 2 f 6
# 9: c 3 f 6
#10: a 1 g 7
#11: b 2 g 7
#12: c 3 g 7
# Version 2; faster but messier:
CJ.table.2 <- function(X,Y) {
eval(parse(text=paste0("setkey(X[,c(k=1,.SD)],k)[Y[,c(k=1,.SD)],list(",paste0(unique(c(names(X),names(Y))),collapse=","),")][,k:=NULL]")))
}
以下是一些速度基准：
# Create a bigger (but still very small) example:
n<-1e3
x3<-data.table(id1=1L:n,vals1=sample(letters,n,replace=T))
y3<-data.table(id2=1L:n,vals2=sample(LETTERS,n,replace=T))
library(microbenchmark)
microbenchmark(merge=merge.data.frame(x3,y3,all=TRUE),
CJ.table.1=CJ.table.1(x3,y3),
CJ.table.2=CJ.table.2(x3,y3),
times=3, unit="s")
#Unit: seconds
# expr min lq median uq max neval
# merge 4.03710225 4.23233688 4.42757152 5.57854711 6.72952271 3
# CJ.table.1 0.06227603 0.06264222 0.06300842 0.06701880 0.07102917 3
# CJ.table.2 0.04740142 0.04812997 0.04885853 0.05433146 0.05980440 3
请注意，这些data.table方法比merge@danas.zuokas 建议的方法快得多。此示例中的两个具有 1,000 行的表会生成一个具有 100 万行的交叉连接表。因此，即使您的原始表格很小，结果也会很快变大，速度变得很重要。
最后，最新版本data.table要求您添加allow.cartesian=TRUE（如在 CJ.table.1 中）或指定应返回的列的名称（CJ.table.2）。第二种方法（CJ.table.2）似乎更快，但如果要自动指定所有列名，则需要一些更复杂的代码。它可能不适用于重复的列名。（请随意推荐一个更简单的 CJ.table.2 版本）
于 2013-01-04T21:44:09.247 回答
37
只是all=TRUE吗？
x<-data.frame(id1=c("a","b","c"),vals1=1:3)
y<-data.frame(id2=c("d","e","f"),vals2=4:6)
merge(x,y,all=TRUE)
从文档merge：
如果 by 或两者 by.x 和 by.y 的长度为 0（长度为零的向量或 NULL），则结果 r 是 x 和 y 的笛卡尔积，即 dim(r) = c(nrow(x )*nrow(y), ncol(x) + ncol(y))。
于 2012-05-15T07:30:54.717 回答
21
几年前就有人问过这个问题，但您可以使用它tidyr::crossing()来进行交叉连接。绝对是最简单的解决方案。
library(tidyr)
league <- c("MLB", "NHL", "NFL", "NBA")
season <- c("2018", "2017")
tidyr::crossing(league, season)
#> # A tibble: 8 x 2
#> league season
#> <chr> <chr>
#> 1 MLB 2017
#> 2 MLB 2018
#> 3 NBA 2017
#> 4 NBA 2018
#> 5 NFL 2017
#> 6 NFL 2018
#> 7 NHL 2017
#> 8 NHL 2018
由reprex 包（v0.2.0）于 2018 年 12 月 8 日创建。
于 2018-12-07T14:48:28.367 回答
11
如果你想通过 data.table 来做，这是一种方法：
cjdt <- function(a,b){
cj = CJ(1:nrow(a),1:nrow(b))
cbind(a[cj[[1]],],b[cj[[2]],])
}
A = data.table(ida = 1:10)
B = data.table(idb = 1:10)
cjdt(A,B)
如上所述，如果您正在执行许多小连接，并且您不需要data.table对象和生成它的开销，则可以通过编写c++代码块来显着提高速度：使用Rcpp等：
// [[Rcpp::export]]
NumericMatrix crossJoin(NumericVector a, NumericVector b){
int szA = a.size(),
szB = b.size();
int i,j,r;
NumericMatrix ret(szA*szB,2);
for(i = 0, r = 0; i < szA; i++){
for(j = 0; j < szB; j++, r++){
ret(r,0) = a(i);
ret(r,1) = b(j);
}
}
return ret;
}
为了比较，首先对于一个大连接：
C++
n = 1
a = runif(10000)
b = runif(10000)
system.time({for(i in 1:n){
crossJoin(a,b)
}})
用户系统已用 1.033 0.424 1.462
数据表
system.time({for(i in 1:n){
CJ(a,b)
}})
用户系统经过 0.602 0.569 2.452
现在有很多小连接：
C++
n = 1e5
a = runif(10)
b = runif(10)
system.time({for(i in 1:n){
crossJoin(a,b)
}})
用户系统经过 0.660 0.077 0.739
数据表
system.time({for(i in 1:n){
CJ(a,b)
}})
用户系统已用 26.164 0.056 26.271
于 2015-08-08T12:23:40.710 回答
8
使用sqldf：
x <- data.frame(id1 = c("a", "b", "c"), vals1 = 1:3)
y <- data.frame(id2 = c("d", "e", "f"), vals2 = 4:6)
library(sqldf)
sqldf("SELECT * FROM x
CROSS JOIN y")
输出：
id1 vals1 id2 vals2
1 a 1 d 4
2 a 1 e 5
3 a 1 f 6
4 b 2 d 4
5 b 2 e 5
6 b 2 f 6
7 c 3 d 4
8 c 3 e 5
9 c 3 f 6
仅作记录，对于基本包，我们可以使用以下 by=NULL代替all=TRUE：
merge(x, y, by= NULL)
于 2015-08-10T08:16:06.800 回答
6
通过使用合并函数及其可选参数：
内连接：merge(df1, df2) 将适用于这些示例，因为 R 会通过常用变量名称自动连接帧，但您很可能希望指定 merge(df1, df2, by = "CustomerId") 以确保您只匹配您想要的字段。如果匹配的变量在不同的数据框中具有不同的名称，您也可以使用 by.x 和 by.y 参数。
Outer join: merge(x = df1, y = df2, by = "CustomerId", all = TRUE)
Left outer: merge(x = df1, y = df2, by = "CustomerId", all.x = TRUE)
Right outer: merge(x = df1, y = df2, by = "CustomerId", all.y = TRUE)
Cross join: merge(x = df1, y = df2, by = NULL)
于 2015-10-23T12:23:44.740 回答
2
我不知道使用data.frame's 的内置方法，但它并不难制作。
@danas 展示了一种简单的内置方法，但我会在此处留下我的答案，以防它对其他目的有用。
cross.join <- function(a, b) {
idx <- expand.grid(seq(length=nrow(a)), seq(length=nrow(b)))
cbind(a[idx[,1],], b[idx[,2],])
}
并表明它适用于一些内置数据集：
> tmp <- cross.join(mtcars, iris)
> dim(mtcars)
[1] 32 11
> dim(iris)
[1] 150 5
> dim(tmp)
[1] 4800 16
> str(tmp)
'data.frame': 4800 obs. of 16 variables:
$ mpg : num 21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
$ cyl : num 6 6 4 6 8 6 8 4 4 6 ...
$ disp : num 160 160 108 258 360 ...
$ hp : num 110 110 93 110 175 105 245 62 95 123 ...
$ drat : num 3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
$ wt : num 2.62 2.88 2.32 3.21 3.44 ...
$ qsec : num 16.5 17 18.6 19.4 17 ...
$ vs : num 0 0 1 1 0 1 0 1 1 1 ...
$ am : num 1 1 1 0 0 0 0 0 0 0 ...
$ gear : num 4 4 4 3 3 3 3 4 4 4 ...
$ carb : num 4 4 1 1 2 1 4 2 2 4 ...
$ Sepal.Length: num 5.1 5.1 5.1 5.1 5.1 5.1 5.1 5.1 5.1 5.1 ...
$ Sepal.Width : num 3.5 3.5 3.5 3.5 3.5 3.5 3.5 3.5 3.5 3.5 ...
$ Petal.Length: num 1.4 1.4 1.4 1.4 1.4 1.4 1.4 1.4 1.4 1.4 ...
$ Petal.Width : num 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 ...
$ Species : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...
于 2012-05-15T03:42:30.367 回答
2
我很想知道是否存在交叉连接两个 data.table的便捷方法。我经常这样做，最终滚动了自己的功能，其他人可能会觉得有帮助
library(data.table)
cartesian_join <- function(i, j){
# Cartesian join of two data.tables
# If i has M rows and j has N rows, the result will have M*N rows
# Example: cartesian_join(as.data.table(iris), as.data.table(mtcars))
# Check inputs
if(!is.data.table(i)) stop("'i' must be a data.table")
if(!is.data.table(j)) stop("'j' must be a data.table")
if(nrow(i) == 0) stop("'i' has 0 rows. Not sure how to handle cartesian join")
if(nrow(j) == 0) stop("'j' has 0 rows. Not sure how to handle cartesian join")
# Do the join (use a join column name that's unlikely to clash with a pre-existing column name)
i[, MrJoinyJoin := 1L]
j[, MrJoinyJoin := 1L]
result <- j[i, on = "MrJoinyJoin", allow.cartesian = TRUE]
result[, MrJoinyJoin := NULL]
i[, MrJoinyJoin := NULL]
j[, MrJoinyJoin := NULL]
return(result[])
}
foo <- data.frame(Foo = c(1,2,3))
foo
Foo
1 1
2 2
3 3
bar <- data.frame(Bar = c("a", "b", "c"))
bar
Bar
1 a
2 b
3 c
cartesian_join(as.data.table(foo), as.data.table(bar))
Bar Foo
1: a 1
2: b 1
3: c 1
4: a 2
5: b 2
6: c 2
7: a 3
8: b 3
9: c 3
于 2018-10-06T15:27:00.997 回答
2
对于data.table使用
dt1[, as.list(dt2), by = names(dt1)]
请注意，这只适用于没有重复行的情况。
于 2020-11-18T13:14:44.787 回答
1
dplyr 解决方案：
left_join您可以在 dplyr 连接（即,inner_join等）中执行交叉连接。
例如，根据left_join帮助：“要执行交叉连接，生成 x 和 y 的所有组合，请使用by = character()”
所以你可以使用类似的东西：
df3 <- left_join(df1, df2, by = character())
于 2021-11-23T17:03:01.233 回答