1

我正在查看文档,但没有看到写入 CSV 的功能。

似乎有一个写入磁盘帧的功能,但不清楚它以什么格式存储

write_disk.frame

将 data.frame/disk.frame 写入 disk.frame 位置。如果 df 是 data.frame,则在大多数情况下建议使用 as.disk.frame 函数

我可以使用fwritewrite_csv与磁盘框架一起使用吗?

4

1 回答 1

2

我懂了。我可能会添加写入 csv 功能,因为我经常看到这个请求。

不过,最好的跟踪方法是在 github 上提交问题https://github.com/xiaodaigh/disk.frame/issues我已经这样做了,这次请参阅https://github.com/xiaodaigh/disk.frame/问题/311

如果您想将每个块写入单独的 CSV,只需执行

df %>%
  cimap(function(id, chunk) {
    data.table::fwrite(chunk, file.path("some/path/", paste0(id, ".csv"))
    NULL # return null since you don't need to return anything
  }, lazy=FALSE)

例如

library(disk.frame)

a = as.disk.frame(nycflights13::flights)

cimap(a, function(chunk, id) {
  data.table::fwrite(chunk, file.path(tempdir(), paste0(id, ".csv")))
  NULL
}, lazy=FALSE)


dir(tempdir())

如果您想写入一个文件,只需修改为通过 写入一个文件append=TRUE,但请确保关闭多个工作人员!

setup_disk.frame(workers = 1) # only one worker
cmap(a, function(chunk) {
  data.table::fwrite(chunk, file.path(tempdir(), "one_file.csv"), append = TRUE)
  NULL
}, lazy=FALSE)
setup_disk.frame() # turn multi worker back on 


dir(tempdir())
于 2020-09-17T02:39:39.043 回答