r - 异步写入 R 中的文件

Question

谁能为我提供一些关于如何从一个非常大的文件块中异步写入的指导，每个文件都在多个集群（8-500）中使用相同的函数进行处理。该文件大约 25 GB，太大而无法放入内存。

我们目前正在使用“snow(fall)”和“mmap”包，但无法克服一些瓶颈。同步写入工作正常，但异步写入效率更高。

我不确定您需要更多信息，但请随时问我！

Answer 1

也许你可以使用

sink("filename.any_extension")

因此，一旦从命令接收到结果，使用它就会在文本文件中输出结果，并进一步处理您的结果

readLines("filename.any_extension",n=-1,warn=TRUE).

我希望这有帮助。