3

我有一个 NW.js 应用程序，它简单地（递归地）扫描目录树并获取每个文件/目录的统计信息。它还对文件执行 MD5。

我有 29k 个文件，850 个文件夹，全部用于 120GB 数据。

将近 7 分钟后，我的代码仅扫描了 29k 个文件中的 4080 个文件。

怎么可能这么慢？？我可以做些什么来提高性能吗？否则，Node 对我来说毫无用处......

令人惊讶的是，扫描 1k 个文件“仅”花费了 7 秒。为什么只扫描 4 倍的文件要长 60 倍？

当我检查进程时，我可以看到 Node 的 RAM 使用量发生了很大变化：从 20MB 到 400MB（双向波动）。但是 CPU 使用率停留在 1%。

这很奇怪，因为我不认为我分配了这么多 RAM。其实我什么都不分配！请在下面查看我的代码。

if (process.argv.length < 3)
    process.exit();


var fs = require('fs');
var md5 = require('md5');
var md5File = require('md5-file');

var iTotal = 0;
var iNbFiles = 0;
var iNbFolders = 0;

var iBegin = Date.now();

var App =
{
    scan: function(path)
    {
        var items = fs.readdirSync(path);
        var i, item, stats, fullPath, isFolder, fileMD5;
        var len = items.length;
        var md5Hash = md5(path);

        for (i = 0; i < len; i++)
        {
            item = items[i];
            fullPath = path + '/' + item;
            stats = fs.statSync(fullPath);
            if (stats.isSymbolicLink())
                continue;

            isFolder = stats.isDirectory();
            if (!isFolder)
            {
                fileMD5 = md5File(fullPath);
                iNbFiles++;
            }
            else
            {
                fileMD5 = null;
                iNbFolders++;
            }

            iTotal++;
            process.send({_type: 'item', name: item, path: path, path_md5: md5Hash, full_path: fullPath, file_md5: fileMD5, stats: stats, is_folder: isFolder});
            if (isFolder)
                App.scan(path + '/' + item);
        }

        process.send({_type: 'temp', total: iTotal, files: iNbFiles, folders: iNbFolders, elapsed: (Date.now() - iBegin)});
    }
};

App.scan(process.argv[2]);

// Send the final and definitive value of "total"
process.send({_type: 'total', total: iTotal, files: iNbFiles, folders: iNbFolders});

process.exit();
4

1 回答 1

0

使用任何节点模块，如https://github.com/jprichardson/node-fs-extra#walk

其实我什么都不分配！

不，您正在分配：任何对象创建或变量创建都会为此分配内存。此外，md5-file 通过流读取每个文件并计算校验和。因此，您需要将所有文件的所有内容都发送到 CPU 和内存中。您使用 MD5 的同步版本 - 一次它只会在文件中计算。此外，你在那里有递归并且你有很多文件：这意味着，当堆栈结束时 - 你会有错误。而且我认为您有此错误-您只是看不到它，或者您在没有任何进度反馈的情况下静默运行它。使用异步目录读取和异步 MD5 计算。最好的解决方案是使用一些工作进程的集合（例如 6 个核心 CPU - 6 个工作人员）并将数据拉到这个工作人员，他们将计算 MD5。

更新 1

递归内存泄漏示例：

var i=0;
function inc() {
    i++;
    var s = ""
    for(var n=0;n<4000;n++){ s+="0123456789" }
    inc();    
}
inc();

打开任务管理器并在浏览器中运行此代码 - 您将看到内存消耗增长的速度。

于 2016-03-04T09:00:52.707 回答