我正在使用该BatchJobs
软件包。我有一个data.table
我正在尝试迭代并提交作业的列表。但是,我收到以下错误消息:
batchMap(reg, function(dtb) dtb[,roll_reg(.SD),by=gvkey], dtb_input_list)
Error: serialization is too large to store in a raw vector
每个data.table
大约有 7,000 行和 6 列。我似乎无法理解为什么这会太大而无法序列化。每次搜索都会以 2^31 - 1 的数字作为限制。这是一个例子:
require(BatchJobs)
reg <- makeRegistry(id="myreg", file.dir="myreg")
test_list = lapply(1:10, function(i) data.frame(a=rep(i,10000)))
batchMap(reg, function(dtb) nrow(dtb), test_list)
Error: serialization is too large to store in a raw vector
编辑:等待更多调查。这似乎是使用相同的确切数据出现的错误。试图了解其他环境变量正在发生哪些变化。