11

我有一个大约 1500 万行的巨大 csv 文件，大小约为 3G。

我想将这个文件逐个读入 R，每次只选择那些符合特定条件的行。

例如，其中一列称为产品类型，因此我只需将一种产品类型读入R，并对其进行处理然后输出结果，然后再转到另一种产品类型...

到目前为止，我已经阅读了不同的方法，例如将大文件上传到数据库，或者通过 colbycol 逐列读取，或者通过 ff 读取一大块行......

是否有任何纯 R 解决方案可以解决我的问题？

4

3 回答 3

20

您可以使用该RSQLite软件包：

library(RSQLite)
# Create/Connect to a database
con <- dbConnect("SQLite", dbname = "sample_db.sqlite")

# read csv file into sql database
# Warning: this is going to take some time and disk space, 
#   as your complete CSV file is transferred into an SQLite database.
dbWriteTable(con, name="sample_table", value="Your_Big_CSV_File.csv", 
    row.names=FALSE, header=TRUE, sep = ",")

# Query your data as you like
yourData <- dbGetQuery(con, "SELECT * FROM sample_table LIMIT 10")

dbDisconnect(con)

下次要访问数据时，可以省略dbWriteTable，因为 SQLite 表存储在磁盘上。

注意：将 CSV 数据写入 SQLite 文件不会先将所有数据加载到内存中。因此，您最终将使用的内存将受限于您的查询返回的数据量。

于 2013-09-13T19:45:15.080 回答
5

只能使用 R 来做到这一点：

  1. 打开到文件的连接
  2. 如果有header，则读入header信息
  3. read.csv使用指定colClasses和从文件中读取一行nrows=1
  4. 测试该行以查看它是否满足您的条件，如果是，将其附加到不断增长的数据框中
  5. 对文件的其余部分重复步骤 4。
  6. 关闭连接

虽然以上是可能的，但我认为这是不可取的。通过将数据加载到数据库中，然后从 R 中查询数据库，这种类型的事情可能会更好。

于 2013-09-13T19:24:14.153 回答
0

您也可以使用 JDBC 来实现这一点。让我们创建一个示例 csv 文件。

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

从此链接下载并保存 CSV JDBC 驱动程序：http: //sourceforge.net/projects/csvjdbc/files/latest/download然后设置驱动程序。

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd())) # replace getwd() with location of csv file

让我们看一下 mtcars 数据集中的前 3 行：

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

接下来，让我们看看 gear 的不同值和各自的计数：

> dbGetQuery(conn, "select gear, count(*) from mtcars group by gear")
  GEAR COUNT(*)
1    4       12
2    3       15
3    5        5

现在，您可以使用 where 子句编写查询以过滤数据以仅选择 gear 取值为 5 的行：

> dbGetQuery(conn, "select * from mtcars where gear = '5'")
   mpg cyl  disp  hp drat    wt qsec vs am gear carb
1   26   4 120.3  91 4.43  2.14 16.7  0  1    5    2
2 30.4   4  95.1 113 3.77 1.513 16.9  1  1    5    2
3 15.8   8   351 264 4.22  3.17 14.5  0  1    5    4
4 19.7   6   145 175 3.62  2.77 15.5  0  1    5    6
5   15   8   301 335 3.54  3.57 14.6  0  1    5    8
于 2014-03-17T18:38:27.540 回答