我将 SQLite 与 R(包RSQLite
)一起使用。导入后的以下内容rSQLite
,我尝试使用以下标准命令将 500 GB 的数据通过管道传输到 SQL 表中:
CREATE TABLE name (
field1 INTEGER,
field2 VARCHAR,
field3 INTEGER,
field4 INTEGER,
field5 VARCHAR,
);
但是,这需要大约 3 周才能完成。如何加快速度?其他选项是否常用?
我试图在一秒钟内对 200 亿行、5 列执行大约 100 个查询。我没有使用多台商品机器,而是使用具有 200 个线程和 1 TB RAM 的单个 HPC 服务器。什么是正确的方法?