0

我想将 .sav 文件读入 R。但是，它太大了（>11GB）。如果我只能读取部分数据，那应该没问题，但并不理想。那么，有没有办法执行以下任何操作：

  • 只读取标题（用于列名）
  • 仅导入某些列（而不是整个数据集） - 我已经尝试了函数，haven但似乎无法让col_select参数起作用。
  • 读入整个数据集——我知道 .csv 文件的工具，但不知道 .sav 文件的工具。

谢谢你的帮助！

4

1 回答 1

1

至于将整个数据集放入 R 中，我认为您无法通过块或任何类似的解决方法读取它，并且它对整个数据集的内存效率更高。但是，有一些简单的方法可以获取内存效率更高的列名和/或特定变量：

可以使用n_max读取空数据框（带有变量和值标签）的参数来获取列名：

# using n_max = 0 is much more memory efficient
bench::mark(read_sav(temp)[0,],
            read_sav(temp, n_max = 0))[1:9]
# A tibble: 2 x 9
  expression                     min   median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc total_time
  <bch:expr>                <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl> <int> <dbl>   <bch:tm>
1 read_sav(temp)[0, ]          1.11s    1.11s     0.902    76.5MB     6.31     1     7      1.11s
2 read_sav(temp, n_max = 0)   5.86ms   6.13ms   154.       97.2KB     1.98    78     1    505.6ms

可以使用 select-helpers（或索引，或名称等）来获取特定列，并且内存效率更高：

bench::mark(read_sav(temp)[c("V1", "V5")],
            read_sav(temp, col_select = matches("V(1|5)$")))[1:9]
# A tibble: 2 x 9
  expression                                           min   median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc total_time
  <bch:expr>                                      <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl> <int> <dbl>   <bch:tm>
1 read_sav(temp)[c("V1", "V5")]                      1.06s    1.06s     0.939    76.5MB     5.64     1     6      1.06s
2 read_sav(temp, col_select = matches("V(1|5)$")) 186.45ms 187.89ms     5.32    528.7KB     0        3     0    563.5ms

数据设置：

test <- as.data.frame(matrix(1:1e7, nrow = 1e4, ncol = 1e3))
temp <- tempfile()
write_sav(test, temp)

# file.remove(temp)
于 2020-09-24T11:56:13.043 回答