1

我在 sparkR 中有 100 个 DataFrame。

us = filter(pg, pg$user_id==1)
us = filter(pg, pg$user_id==2)
....
us = filter(pg, pg$user_id == 100)

我想将它们收集在一个新的 DataFrame 中。一种方法是这样

for(i in 1:100){
us=filter(pg, pg$user_id==i)
all=unionAll(all, us)
}

现在 'all' 是一个 DataFrame 并包含 100 个其他 DataFrame。这需要一些时间在 SparkR 中运行,我想知道是否有更好的方法来做到这一点?

4

0 回答 0