0

我正在尝试找到一种方法来提高速度,同时使用 python 中的 pandas 将数据推送到 MySQL 数据库。

在我的性能测试之后,我得出了与其他人相同的结论:将数据推送到 MySQL 数据库的最佳方法是使用本机查询 'LOAD DATA INFILE..." 而不是 to_sql pandas 方法(即使有类似的改进这个这个)。

我的问题是当我想推送我的数据时,它在内存中。因此,为了使用本机 MySQL 查询,我需要先将其转储到磁盘上的文件中,然后使用“LOAD DATA...”查询。

所以我的问题是,有没有办法“模拟”写在磁盘上的文件,这样我就可以避免在上面转储我的大文件(200MB+)?

转储一个大文件可能需要几分钟,所以我不想在那里浪费太多时间......

4

1 回答 1

0

这种方法可能是一种可行的替代方案,无需接触磁盘(对于加载文件):

编写代码来创建多行INSERT语句并执行它们。一次建议 1000 行,autocommit=ON。

于 2019-01-18T06:07:53.807 回答