我有一种情况,我的脚本解析大约 20000 个条目并将它们保存到 db。我使用了大约需要 35 秒的事务来保存并且还消耗大量内存,因为直到提交的查询被保存在内存中。
我找到了另一种编写 CSV 的方法,然后使用非常快的“copy_from”加载到 postgres。如果有人可以建议我是否应该在开始时打开文件然后在加载到 postgres 时关闭文件或在单个条目准备好写入时打开文件然后关闭。
节省内存利用率的最佳方法是什么?
我有一种情况,我的脚本解析大约 20000 个条目并将它们保存到 db。我使用了大约需要 35 秒的事务来保存并且还消耗大量内存,因为直到提交的查询被保存在内存中。
我找到了另一种编写 CSV 的方法,然后使用非常快的“copy_from”加载到 postgres。如果有人可以建议我是否应该在开始时打开文件然后在加载到 postgres 时关闭文件或在单个条目准备好写入时打开文件然后关闭。
节省内存利用率的最佳方法是什么?