database - 非常大的 .csv 文件，

Question

我有大量数据，大约 2000 万行和 6 列。我正在尝试从这个大的 .csv 文件中提取数据。我尝试了 R，但我收到错误消息，我正在使用带有 4 GB Ram、i5 处理器的 macbook。有什么办法可以提取信息，我试过excel，只能取100万行。任何建议或帮助都会有用

文件超过 1.3 GB，我想根据一个参数将此数据库分成大约 2000-3000 个的集合。我尝试了 R，当我使用 read.csv 时，我尝试了一会儿，但在 10 分钟左右后，我得到 R 没有响应 –</p>

我想根据第三列分离这些数据。

SHA PCT PRACTICE BNF 代码 BNF 名称

Answer 1

首先，您必须说明提取数据是什么意思。如果它是某种聚合函数或者它可以被分割，那么我认为最简单的方法是将你巨大的 csv 文件分割成许多小的文件。

如果您需要其他东西，请看这里：

• 用于在磁盘上存储大数据的包（不是 ram）http://ff.r-forge.r-project.org/
• 将点分配给未使用的内存或指向交换文件的包。https://r-forge.r-project.org/R/?group_id=556
• 并行化大数据http://www.r-bloggers.com/taking-r-to-the-limit-parallelism-and-big-data/
• 这里很少讨论http://www.mathfinance.cn/handling-large-csv-files-in-R/ http://r.789695.n4.nabble.com/How-to-Read-a-Large-CSV -into-a-Database-with-R-td3043209.html

Answer 2

我会将它转储到 SQL 数据库（mySQL、postgre、SQLlite 并使用您可以在 RODBC 包中找到的 ODBC 驱动程序进行调用（JDBC 也可以）。

然后你可以做一个'SELECT * FROM your_table WHERE column_3= X;'

祝你好运！

[链接到教程1