我正在编写一个在 Nehalem 处理器上运行的多线程 Java 应用程序。但是我有一个问题,从 4 个线程开始,我几乎看不到我的应用程序中的加速。
我做了一些简单的测试。我创建了一个线程,它只分配一个大数组并访问数组中的随机条目。因此,当我运行线程数时,运行时间不应该改变(假设我没有超过可用 CPU 内核的数量)。但我观察到的是,运行 1 或 2 个线程几乎需要相同的时间,但运行 4 或 8 个线程要慢得多。因此,在尝试解决我的应用程序中的算法和同步问题之前,我想找出我可以实现的最大可能并行化。
我使用-XX:+UseNUMA
了 JVM 选项,所以数组应该分配在相应线程附近的内存中。
PS如果线程进行简单的数学计算,4甚至8个线程都没有时间下降,所以我得出结论,当线程访问内存时我有一些问题。
任何帮助或想法表示赞赏,谢谢。
编辑
谢谢大家的回复。我发现我对自己的解释不够好。
在尝试消除我的应用程序中的同步问题之前,我做了一个简单的测试来检查可以实现的最佳并行化。代码如下:
public class TestMultiThreadingArrayAccess {
private final static int arrSize = 40000000;
private class SimpleLoop extends Thread {
public void run() {
int array[] = new int[arrSize];
for (long i = 0; i < arrSize * 10; i++) {
array[(int) ((i * i) % arrSize)]++; // randomize a bit the access to the array
}
long sum = 0;
for (int i = 0; i < arrSize; i++)
sum += array[i];
}
}
public static void main(String[] args) {
TestMultiThreadingArrayAccess test = new TestMultiThreadingArrayAccess();
for (int threadsNumber : new int[] { 1, 2, 4, 8 }) {
Statistics timer = new Statistics("Executing " + threadsNumber+ " threads"); // Statistics is a simple helper class that measures the times
timer.start();
test.doTest(threadsNumber);
timer.stop();
System.out.println(timer.toString());
}
}
public void doTest(int threadsNumber) {
Thread threads[] = new Thread[threadsNumber];
for (int i = 0; i < threads.length; i++) {
threads[i] = new SimpleLoop();
threads[i].start();
}
for (int i = 0; i < threads.length; i++)
try {
threads[i].join();
} catch (InterruptedException e) {
};
}
}
因此,正如您所看到的,在这个 minitest 中根本没有同步,并且数组的分配也在线程内部,因此它应该放在可以快速访问的内存块中。此代码中也没有内存争用。仍然对于 4 个线程,运行时间下降了 30%,8 个线程运行速度慢了两倍。正如您从代码中看到的那样,我只是等到所有线程完成他们的工作,并且由于他们的工作是独立的,线程数不应该影响执行的总时间。
在机器上安装了 2 个四核超线程 Nehalem 处理器(总共 16 个 CPU),因此每个有 8 个线程可以独占 CPU。
当我尝试使用较小的数组(20K 条目)运行此测试时,4 个线程的执行时间下降了 7%,8 个线程的执行时间下降了 14%,这很令人满意。但是当我尝试在大型数组(40M 条目)上操作随机访问时,运行时间会急剧增加,所以我认为存在大块内存(因为它们不适合缓存内存?)在非访问中访问的问题- 高效的方式。
有什么想法可以解决这个问题吗?
希望这能以更好的方式澄清问题,再次感谢。