62

我有 4 个处理器，正在编译一个需要大量处理器的应用程序。我读到 OpenCV 建议使用make开关-j4；我应该改用-j8? 为多个处理器制作有什么好处？

4

4 回答 4

88

上面的答案大部分都是正确的。但是，细节有点误导。例如，不需要为“管理线程”添加额外的作业（注意：make实际上不是多线程的）。 make永远不会将自己视为一项工作-j，因此，正如惠更斯上面所说，如果您说-j5您将运行 5 个编译工作，而不是 4 个加 make。

大多数人使用 [核心数量] + [一些填充] 的原因与它的需求无关make，而是与编译器的性质有关。编译器实际上只是一个非常复杂的文本翻译工具：它以一种形式读取文本并将其转换为另一种形式的“文本”（二进制）。其中很多（尤其是当您的语言变得更加复杂时，例如 C++）需要大量 CPU。但它也需要大量的磁盘 I/O。磁盘 I/O 很慢，因此当一个编译器在等待来自磁盘的一些数据时，内核会安排其他作业运行。这就是为什么您可以有效地拥有超过同时运行的内核编译数量。

在你开始看到收益递减之前你能得到多大-j的收益（你的构建实际上开始变慢，在某些时候，更多-j）完全取决于你的硬件、你正在做的构建类型等。知道的唯一方法当然是实验。

但是，[核心数]+[几个] 通常是一个很好的近似值。

于 2013-03-08T13:26:42.503 回答
63

正如您所说，该-j标志告诉 make 允许产生提供的“线程”数量。理想情况下，每个线程都在自己的核心/CPU 上执行，因此您的多核/CPU 环境可以充分利用。

make本身不编译源文件。这是由编译器 (gcc) 完成的。Makefile（输入make）包含一组目标。每个目标都有一组依赖项（在其他目标上）和如何构建目标的规则。make读取 Makefile(s) 并管理所有目标、依赖项和构建规则。除了编译源文件之外，您还可以使用它make来执行任何可以由 shell 命令描述的任务。

如果将允许的线程数设置得太高，则无法将每个线程调度到自己的核心上。需要额外的调度（上下文）开关来让所有线程执行。这种额外的资源使用显然会导致性能下降。

有多个经验法则，但我想设置为总计<number of cores> + 1是最常见的。这背后的想法是，所有核心都有自己的线程，并且还有一个额外的管理线程来处理目标并且接下来要构建。

于 2013-03-08T08:04:41.107 回答
4

每个线程一个 CPU 加上一个管理器/加载器。由于从 CPU 的角度来看，执行磁盘操作的线程在技术上几乎是空闲的，因此将内核总数加一。

如果 CPU 使用超线程，您可以安全地将每个内核计为两个内核并将线程数加倍，因此四核 Intel Core i7 应该得到 -j9（八个虚拟内核加上管理器。）在四核 AMD 上使用 -j5

于 2013-03-08T08:30:19.857 回答
3

该-j选项仅用于加速应用程序构建，它确定可以为构建生成多少作业make。您可以设置-j<nb core>甚至更高-j<nb-core * 1.5>，以便编译可以并行进行。

它对编译后的代码没有影响。

对于 4 核系统，您可以尝试make -j6. 如果 make 可以运行并行构建，它将启动多达 6 个同时编译过程（例如 6 个对 gcc 的调用）。

于 2013-03-08T08:01:36.800 回答