31

我正在尝试使用freadpackage 中的函数输入一个大的制表符分隔文件（大约 2GB） data.table。然而，因为它太大了，它并不完全适合内存。我尝试使用skipandnrow参数以块的形式输入它，例如：

chunk.size = 1e6
done = FALSE
chunk = 1
while(!done)
{
    temp = fread("myfile.txt",skip=(chunk-1)*chunk.size,nrow=chunk.size-1)
    #do something to temp
    chunk = chunk + 1
    if(nrow(temp)<2) done = TRUE
}

在上面的例子中，我一次读取 100 万行，对它们执行计算，然后得到下一个百万，等等。这段代码的问题是，在检索到每个块后，fread需要开始扫描文件从一开始就在每次循环迭代后skip增加一百万。结果，在每个块之后，fread实际到达下一个块需要越来越长的时间，这使得效率非常低。

有没有办法告诉fread每说 100 万行就暂停一次，然后从那一刻开始继续阅读，而不必从头开始重新开始？任何解决方案，或者这应该是一个新的功能请求？

4

4 回答 4

21

你应该使用这个LaF包。这在您的数据上引入了一种指针，从而避免了 - 对于非常大的数据 - 读取整个文件的烦人行为。据我fread()在data.tablepckg 中得到的，需要知道总行数，这需要 GB 数据的时间。使用指针，LaF您可以转到您想要的每一行；并读取可以应用函数的数据块，然后继续处理下一个数据块。在我的小型 PC 上，我以 10e6 行的步长运行了一个 25 GB 的 csv 文件，并提取了所需的大约 5e6 个观察值——每个 10e6 块需要 30 秒。

更新：

library('LaF')
huge_file <- 'C:/datasets/protein.links.v9.1.txt'

#First detect a data model for your file:
model <- detect_dm_csv(huge_file, sep=" ", header=TRUE)

然后使用模型创建到您的文件的连接： 

df.laf <- laf_open(model)

完成后，您可以执行各种操作，而无需像 data.table pckgs 中那样知道文件的大小。例如，将指针放在第 100e6 行并从此处读取 1e6 行数据：

goto(df.laf, 100e6)
data <- next_block(df.laf,nrows=1e6)

现在data包含 CSV 文件的 1e6 行（从第 100e6 行开始）。

您可以读取数据块（大小取决于您的内存）并且只保留您需要的数据。例如，huge_file在我的示例中指向一个包含所有已知蛋白质序列的文件，并且大小> 27 GB - 对我的PC 来说太大了。为了只获得人类序列，我使用有机体 id 过滤，人类的 9606 应该出现在变量的开头protein1。一种肮脏的方法是将其放入一个简单的 for 循环中，一次只读取一个数据块：

library('dplyr')
library('stringr')

res <- df.laf[1,][0,]
for(i in 1:10){
  raw <-
    next_block(df.laf,nrows=100e6) %>% 
    filter(str_detect(protein1,"^9606\\."))
  res <- rbind(res, raw)

    }

现在res包含过滤的人类数据。但更好 - 对于更复杂的操作，例如即时计算数据 - 该函数将函数process_blocks()作为参数。因此，在函数中，您可以对每条数据执行任何您想要的操作。阅读文档。

于 2014-12-17T21:17:52.593 回答
10

您可以使用read_*_chunked阅读器来读取数据，例如按块过滤它。有关示例，请参见此处和此处：

# Cars with 3 gears
f <- function(x, pos) subset(x, gear == 3)
read_csv_chunked(readr_example("mtcars.csv"), DataFrameCallback$new(f), chunk_size = 5)
于 2017-05-02T09:53:57.843 回答
7

一个相关的选项是分块包。下面是一个 3.5 GB 文本文件的示例：

library(chunked)
library(tidyverse)

# I want to look at the daily page views of Wikipedia articles
# before 2015... I can get zipped log files
# from here: hhttps://dumps.wikimedia.org/other/pagecounts-ez/merged/2012/2012-12/
# I get bz file, unzip to get this: 

my_file <- 'pagecounts-2012-12-14/pagecounts-2012-12-14'

# How big is my file?
print(paste(round(file.info(my_file)$size  / 2^30,3), 'gigabytes'))
# [1] "3.493 gigabytes" too big to open in Notepad++ !
# But can read with 010 Editor

# look at the top of the file 
readLines(my_file, n = 100)

# to find where the content starts, vary the skip value, 
read.table(my_file, nrows = 10, skip = 25)

这是我们开始处理文件块的地方，我们可以以通常的方式使用大多数 dplyr 动词：

# Let the chunked pkg work its magic! We only want the lines containing 
# "Gun_control". The main challenge here was identifying the column
# header
df <- 
read_chunkwise(my_file, 
               chunk_size=5000,
               skip = 30,
               format = "table",
               header = TRUE) %>% 
  filter(stringr::str_detect(De.mw.De.5.J3M1O1, "Gun_control"))

# this line does the evaluation, 
# and takes a few moments...
system.time(out <- collect(df))

在这里我们可以像往常一样处理输出，因为它比输入文件小得多：

# clean up the output to separate into cols, 
# and get the number of page views as a numeric
out_df <- 
out %>% 
  separate(De.mw.De.5.J3M1O1, 
           into = str_glue("V{1:4}"),
           sep = " ") %>% 
  mutate(V3 = as.numeric(V3))

 head(out_df)
    V1                                                        V2   V3
1 en.z                                               Gun_control 7961
2 en.z Category:Gun_control_advocacy_groups_in_the_United_States 1396
3 en.z          Gun_control_policy_of_the_Clinton_Administration  223
4 en.z                            Category:Gun_control_advocates   80
5 en.z                         Gun_control_in_the_United_Kingdom   68
6 en.z                                    Gun_control_in_america   59
                                                                                 V4
1 A34B55C32D38E32F32G32H20I22J9K12L10M9N15O34P38Q37R83S197T1207U1643V1523W1528X1319
2                                     B1C5D2E1F3H3J1O1P3Q9R9S23T197U327V245W271X295
3                                     A3B2C4D2E3F3G1J3K1L1O3P2Q2R4S2T24U39V41W43X40
4                                                            D2H1M1S4T8U22V10W18X14
5                                                             B1C1S1T11U12V13W16X13
6                                                         B1H1M1N2P1S1T6U5V17W12X12

#--------------------
于 2018-03-01T15:01:34.857 回答
5

fread()绝对可以帮你分块读取数据

您在代码中犯的错误是在循环期间nrow更改函数中参数的大小时应该保持常数。skip

像这样的东西是我为我的数据写的：

data=NULL

for (i in 0:20){

    data[[i+1]]=fread("my_data.csv",nrow=10000,select=c(1,2:100),skip =10000*i)


}

您可以在循环中插入以下代码：


start_time <- Sys.time()
#####something!!!!

end_time <- Sys.time()

end_time - start_time

检查时间 - 每个循环平均花费相似的时间。

然后，您可以使用另一个循环将数据按行与rbindR 中的函数默认函数组合。

示例代码可能是这样的：

new_data = data[[1]]

for (i in 1:20){
    new_data=rbind(new_data,data[[i+1]],use.names=FALSE)
}

统一成一个大数据集。

希望我的回答对您的问题有所帮助。

我使用这种方法在大约 8 分钟内加载了 2k+ 列、200k 行的 18Gb 数据。

于 2020-02-05T23:26:34.190 回答