r - rxImport 在大型数据集上失败

Question

过去两天我一直在尝试使用 RxImport 函数将大型 CSV（9 gigs）转换为 XDF 格式，但没有成功。

该过程似乎开始时 R 服务器逐块读取数据块，但几分钟后它变慢到爬行，然后在大约 6 小时后完全失败，Windows 停止服务器说它的 RAM 用完。

我正在使用的代码如下：

pd_in_file <- RxTextData("cca_pd_entity.csv", delimiter = ",") #file to import
pd_out_file <- file.path("cca_pd_entity.xdf") #desired output file
pd_data <- rxImport(inData = pd_in_file, outFile = pd_out_file, 
stringsAsFactors = TRUE, overwrite = TRUE)

我正在运行 Microsoft R Server，版本 9.0.1。在具有 16gig RAM 的 Windows 7 机器上。

谢谢

Answer 1

使用 Hong Ooi 的建议在 rxTextData 中设置 colInfo 已解决。我不确定为什么它会产生如此大的差异，但它在不到 2 分钟的时间内转换了整个 9gig 数据集，而在几个小时前它完全无法导入。