ruby-on-rails - 处理大型 csv 文件

Question

我有一个大型 CSV 文件，其中包含超过 75000 条记录的大量数据。我需要将它从我的 rails 应用程序插入到 mysql 数据库中。使用 Sidekiq ( https://github.com/mperham/sidekiq ‎) 使用后台处理也需要很多时间。有更好的数据处理方法吗？

谢谢

Answer 1

您可以直接在 mysql 上执行此操作，而无需使用 rails。这样会快很多。看看这个SO question了解更多信息

Answer 2

使用 MySql 函数：

LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;