r - 将磁盘帧写入 CSV 的最佳方法是什么？

Question

我正在查看文档，但没有看到写入 CSV 的功能。

似乎有一个写入磁盘帧的功能，但不清楚它以什么格式存储

write_disk.frame

将 data.frame/disk.frame 写入 disk.frame 位置。如果 df 是 data.frame，则在大多数情况下建议使用 as.disk.frame 函数

我可以使用fwrite或write_csv与磁盘框架一起使用吗？

Answer 1

我懂了。我可能会添加写入 csv 功能，因为我经常看到这个请求。

不过，最好的跟踪方法是在 github 上提交问题https://github.com/xiaodaigh/disk.frame/issues我已经这样做了，这次请参阅https://github.com/xiaodaigh/disk.frame/问题/311

如果您想将每个块写入单独的 CSV，只需执行

df %>%
  cimap(function(id, chunk) {
    data.table::fwrite(chunk, file.path("some/path/", paste0(id, ".csv"))
    NULL # return null since you don't need to return anything
  }, lazy=FALSE)

例如

library(disk.frame)

a = as.disk.frame(nycflights13::flights)

cimap(a, function(chunk, id) {
  data.table::fwrite(chunk, file.path(tempdir(), paste0(id, ".csv")))
  NULL
}, lazy=FALSE)


dir(tempdir())

如果您想写入一个文件，只需修改为通过 写入一个文件append=TRUE，但请确保关闭多个工作人员！

setup_disk.frame(workers = 1) # only one worker
cmap(a, function(chunk) {
  data.table::fwrite(chunk, file.path(tempdir(), "one_file.csv"), append = TRUE)
  NULL
}, lazy=FALSE)
setup_disk.frame() # turn multi worker back on 


dir(tempdir())