1

我正在尝试将 SVMLight 格式的数据集读入 h2o。将其写入磁盘上的文件并读回工作正常，但直接从 R 的内存中读取则不行。我想知道是否有不同的函数或调用我在下面使用的函数的不同方式。

这是一个例子R 3.3.3, h2o 3.10.3.6：

require(data.table)
require(h2o)

set.seed(1000)
tot_obs <- 100
tot_var <- 500
vars_per_obs <- round(.0*tot_var,0):round(.1*tot_var,0)

#randomly generated data
mat.dt <- do.call('rbind', lapply(1:tot_obs, function(n) {
    nvar <- sample(vars_per_obs,1)
    if(nvar>0) data.table(obs=n, var=sample(1:tot_var,nvar))[, value:=sample(10:50,.N,replace=TRUE)]
}))

event.dt <- data.table(obs=1:tot_obs)[, is_event:=sample(0:1,.N,prob=c(.9,.1),replace=TRUE)]

#SVMLight format
setorder(mat.dt, obs, var)
mat.agg.dt <- mat.dt[, .(feature=paste(paste0(var,":",value), collapse=" ")), obs]
mat.agg.dt <- merge(event.dt, mat.agg.dt, by="obs", sort=FALSE, all.x=TRUE)
mat.agg.dt[is.na(feature), feature:=""]
mat.agg.dt[, svmlight:=paste(is_event,feature)][, c("obs","is_event","feature"):=NULL]
fwrite(mat.agg.dt, file="svmlight.txt", col.names=FALSE)

#h2o
localH2o <- h2o.init(nthreads=-1, max_mem_size="4g")
h2o.no_progress()

#works
h2o.orig <- h2o.importFile("svmlight.txt", parse=TRUE)

#does NOT work
tmp <- as.h2o(mat.agg.dt)
h2o.orig.1 <- h2o.parseRaw(tmp, parse_type="SVMLight")
4

1 回答 1

0

简单的答案是您可能没有足够的 R 内存来执行此操作，因此一种解决方案是增加 R 中的内存量（如果您愿意的话）。这也可能意味着您的 H2O 集群中没有足够的内存，因此您也可以增加它。

直接从 R 内存到 H2O 集群的唯一方法是as.h2o()函数，因此您肯定使用了正确的命令。在后台，该as.h2o()函数将帧从 R 内存写入磁盘（存储在临时文件中），然后使用 H2O 的本机并行读取功能将其直接读入 H2O 集群。

我们最近添加了在我们使用 base R 的任何地方使用data.table的读/写功能的能力，所以既然你已经安装了data.table，你应该可以通过将它添加到顶部来绕过这个瓶颈你的脚本：options("h2o.use.data.table"=TRUE)。这将强制使用data.tableas.h2o()而不是 base R 在转换过程的前半部分写入磁盘。fwrite这应该对您有用，因为它所做的事情与您的代码已经在您用来写入磁盘和h2o.importFile()读回它的地方所做的事情完全相同。

你也不需要最后一行h2o.parseRaw()：

tmp <- as.h2o(mat.agg.dt)
h2o.orig.1 <- h2o.parseRaw(tmp, parse_type="SVMLight")

你可以这样做：

h2o.orig.1 <- as.h2o(mat.agg.dt)

有一篇相关的文章展示了如何使用data.table来解决反向问题（使用而as.data.frame()不是as.h2o()）。

于 2017-04-27T22:32:43.920 回答