4

我们的 Jenkins/CI 服务器每天为我们的 node/js 项目运行数百个构建,我希望能够在一个完全干净的工作空间中运行每个构建。但是,该npm install步骤可能需要超过 10 分钟,这太慢了。相反,由于我们的 npm 依赖项仅针对少量构建(约占所有构建的 1%)而更改,因此我希望npm install每次npm-shrinkwrap.json更改时只运行一次(每次构建时检查 md5sum)。如果收缩包装文件未更改,请使用缓存node_modules/目录。

如果我复制缓存的,这个计划就足够了node_modules/,但是即使这个操作也可能需要一分钟。为了进一步优化我们的构建时间,我希望能够对缓存进行符号链接node_modules/,这将大大提高我们的整体构建性能。

ln -s /path/to/cache/ /path/to/workspace/node_modules

但是,在依赖关系树的多个级别存在依赖关系的情况下,简单地符号链接到缓存的路径是行不通的。例如,我们的顶级项目同时依赖于gulpgulp-util。顶层依赖也依赖于gulp-util. 之后npm installgulp-util将安装在顶层node_modules/而不是node_modules/gulp/node_modules.

如果依赖项存在于本地工作区(即真实目录)中,那么 inside的/path/to/workspace/node_modules/任何实例(我认为)都会递归依赖项树,直到找到合适的模块。也就是说,它开始查找,没有找到任何东西,然后查找,找到合适的模块,导入它并继续前进。require('gulp-util')node_modules/gulpgulp-util/path/to/workspace/node_modules/gulp/node_modules/gulp-util/path/to/workspace/node_modules/gulp-util

但是,当这是一个符号链接时,我会收到如下错误:

module.js:339
    throw err;
    ^

Error: Cannot find module 'gulp-util'
    at Function.Module._resolveFilename (module.js:337:15)
    at Function.Module._load (module.js:287:25)
    at Module.require (module.js:366:17)
    at require (module.js:385:17)
    at Object.<anonymous> (/path/to/cache/gulp/index.js:4:15)
    at Module._compile (module.js:435:26)
    at Object.Module._extensions..js (module.js:442:10)
    at Module.load (module.js:356:32)
    at Function.Module._load (module.js:311:12)
    at Module.require (module.js:366:17)
    at require (module.js:385:17)

我认为这会尝试与其他版本相同,但我不明白为什么它无法找到gulp-util. 无论是查找/path/to/workspace/node_modules/gulp-util还是查找/path/to/cache/gulp-util,它都应该找到该模块并能够导入它。

我已经尝试通过手动安装模块来解决这个问题gulp/node_modules/gulp-util,但是我遇到了几十个这样的错误,并且在构建服务器上手动处理这个问题是不可行的。编写一些代码来搜索这种类型的依赖项并安装它们是可能的,但感觉这样做是错误的。

npm 必须有某种方式来支持这样的工作流程,对吧?我错过了一些明显的东西吗?我是否掩盖了文档中的某些内容?

4

1 回答 1

3

感谢@amol-m-kulkarni在这里发布的答案(上面的@darko-rodic 有帮助地引用了),我意识到我的错误。

如果给定的模块不是核心模块(例如 http、fs 等),Node.js 将开始搜索名为 node_modules 的目录。

它将从当前目录(相对于 Node.JS 中当前执行的文件)开始,然后沿着文件夹层次结构向上移动,检查每个级别的 node_modules 文件夹。一旦 Node.JS 找到 node_modules 文件夹,它就会尝试将给定的模块加载为 (.js) JavaScript 文件或命名的子目录;如果找到命名的子目录,它将尝试以各种方式加载文件。所以,例如

我的错误在于我给缓存路径的名称。正如它所命名的那样/path/to/cache,在它在路径中遇到require的最后一个目录之后停止向上看。node_modules在这种情况下,它停在/path/to/cache/gulp/node_modules,并且没有意识到/path/to/cache/gulp-util应该在搜索中考虑。

我通过将缓存重命名为修复此问题,/path/to/cache/node_modules因此require将继续搜索直到达到该级别,然后将找到/path/to/cache/node_modules/gulp-util.

我将再次参考文档,看看我是否应该清楚这一点。

于 2016-04-06T09:20:52.400 回答