node.js - Node.js 内存已满

Question

我正在尝试编写一个程序来下载一个大的 zip 文件，将其解压缩到内存中，然后将内容（一系列 CSV 文件）推送到 MongoDB。但是，我一直遇到程序停止并打印的点

FATAL ERROR: CodeRange::GetNextAllocationBlock Allocation failed - process out of memory

当缓冲区不再使用时，我一直将它们设置为空，一旦它们在 Mongo 中就将记录设置为空，并防止一次处理多个文件。这些都没有帮助。释放内存还有什么技巧吗？

Answer 1

我会考虑的事情是（不确定它是否会如愿以偿）：

确保引用消失：

• https://groups.google.com/d/msg/nodejs/ddXqNI_e_pU/NKMHmz4RLsoJ

手动执行 GC 并增加 v8 堆大小：

• http://blog.caustik.com/2012/04/11/escape-the-1-4gb-v8-heap-limit-in-node-js/

从父进程生成（和杀死）子进程以完成工作：

• http://www.robsearles.com/2011/09/28/nodejs-experiments-with-processes/

这样我认为操作系统会为子进程回收内存，即使它没有返回内存。

Ram作为文件系统：

• http://www.cyberciti.biz/faq/howto-create-linux-ram-disk-filesystem/

这样您就可以将文件系统视为内存（让操作系统将其放入内存）。

使用自由列表：

• https://groups.google.com/d/msg/nodejs/ddXqNI_e_pU/EP0xUi04xl8J

Answer 2

node.js 对内存分配有 1.4Gb 的硬性限制。但是我不认为将大文件下载到内存是个好主意，我建议将文件写入磁盘，解压缩到磁盘，然后推送到 MongDB。这样，您将始终只在内存中操作小块数据