1

我正在运行一个数据准备脚本，其中涉及将数据帧的行拆分为多个观察值的步骤。这一步需要相当长的时间，我正在尝试优化未来的使用以获得一些改进。我正在处理的数据框非常大（大约 300 万行），我正在尝试找到将其分成块以允许并行处理的最佳方法。我在 64 个内核上运行它，因此有可能加快速度，但我不确定如何不遇到内存问题或在哪里降低速度。

我做了一些小实验，结果让我很困惑。我尝试了嵌套的未来地图，我认为这不应该提高性能，因为第二级期货是连续运行的。但它确实加快了速度。

library(tidyverse)
library(furrr)
library(tictoc)

flights <- nycflights13::flights

create_rows <- function(data, split_by, sep_by){
  split_by <- enquo(split_by)
  sep_by <- enquo(sep_by)
  
  data %>% 
    group_split(!!split_by) %>% 
    future_map_dfr(~.x %>% uncount(weights = !!sep_by))
}

availableCores()
#system 
#    64
future::plan(multisession, workers = availableCores() -1 )

tic()
long_df <- flights %>% 
  create_rows(data = ., split_by = day, sep_by = month)
toc()
#41.14 sec elapsed

tic()
long_df2 <- flights %>%
  group_split(day) %>% 
  future_map_dfr(~create_rows(data = ., split_by = carrier, sep_by = month))
toc()
#15.349 sec elapsed

# Less workers
future::plan(multisession, workers = 8)
tic()
long_df <- flights %>% 
  create_rows(data = ., split_by = day, sep_by = month)
toc()
#12.239 sec elapsed

tic()
long_df2 <- flights %>%
  group_split(day) %>% 
  future_map_dfr(~create_rows(data = ., split_by = carrier, sep_by = month))
toc()
#6.61 sec elapsed

# Different splits

tic()
long_df <- flights %>% 
  create_rows(data = ., split_by = carrier, sep_by = month)
toc()
#11.278 sec elapsed
tic()
long_df2 <- flights %>%
  group_split(carrier) %>% 
  future_map_dfr(~create_rows(data = ., split_by = day, sep_by = month))
toc()
#5.235 sec elapsed

通常是否建议将数据帧拆分为尽可能小的位并将它们分配给不同的进程，或者是否有一个最佳数量可以传递给每个进程？在减少工人数量时，我的速度似乎有所提高。我应该减少数据框的拆分以匹配工人的数量吗？

我现在通常很困惑，非常感谢有用的解释。

4

0 回答 0