0

我有一个多线程程序，它似乎并没有真正利用我机器中的所有内核。这是代码，任何输入都将受到高度赞赏。

主班

public class MainClass{
 public static void main(String [] args){
  Work work=new Work();
  work.doIt();
 }
}

第二个类创建任务并将它们交给ExecutorService，这里是伪代码

public class Work{
 public void doIt() throws InterrputedException, Exception{
  map=get some data and put it in the map;
  ArrayList<Future<Integer>> list=new ArrayList<Future<Integer>>();
  ArrayList<WorkCallable>jobs=new ArrayList<WorkCallable>();
  for each entry in the map;
    jobs.add(new WorkCallable(entry);
  int numCores=Runtime.getRuntime().availableProcessors();
  ExecutorService executor=Executors.newFixedThreadPool(numCores);
  int size=jobs.size();
  for(int i=0;i<size;i++){
    Callable<Integer> worker=jobs.get(i);
    Future<Integer> submit=executor.submit(worker);
    list.add(submit);
  }
  executor.shutdown();
  while(!executor.isTerminated()) {}
  do something with the returned data;
}
}

可调用类

public class WorkCallable implements Callable<Integer>{
 @Override
 public Integer call() throws Exception{
   Properties props=new Properties();
   props.put("annotators", "tokenize, ssplit, pos");
   StanfordCoreNLP pipeline=new StanfordCoreNLP(props);
   for(String id:entry.keySet()){
   Annotation document=new Annotation(entry.get(id));
   pipeline.annotate(document);

   process the data;
   return an integer value;
 }
}

问题是，当我检查有多少线程正在运行时，我发现只有很少，而且执行程序似乎没有利用理想的内核！

我希望描述清楚。

更新：

  • 使用的库是 StanfordCoreNLP 包，用于处理作为 documentID 及其内容的 Map 传递给 Callable 对象的文本。处理数据不是问题，因为我在不包含 StanfordCoreNLP 库的情况下工作得很好。换句话说，文档的浅层处理可以正常工作并利用所有内核。但是当我包含这个包时它没有。
4

2 回答 2

1

如果您使用的是 Windows，那么 JVM 将委托线程调度 NT 内核。POSIX 类型的操作系统直接将操作系统线程映射到 JVM 并协同调度。

但是，无论发生什么，您都无法确保线程在内核/处理器之间均匀分配。当您启动第 4 个线程时，操作系统上的其他东西可能正在核心 4 上运行，因此它可能会被安排到另一个核心。或者调度程序可以决定将它们堆叠在同一个核心上。

于 2012-08-18T19:55:38.087 回答
0

此时，根据您提供的信息，我怀疑线程之间存在一些争用，因此很可能某些线程被阻塞/等待。要验证这一点，您可以使用 JVisual VM 并进行线程转储（Jconsole 也是一个选项）。JVisual VM 是监控 java 应用程序的实用程序，并附带 JDK。如果您之前没有使用过它，这将是您花时间学习它的好投资，因为它非常有用且易于使用。

有关 JVisualVM，请参见此处

  1. 使用 JVisual VM Take Thread dump 连接到您的程序。
  2. 它会在那个时间为您提供程序中线程的状态，如果存在争用和/或阻塞，使用线程转储很容易发现。
  3. 如果您无法弄清楚线程转储中发生了什么，请随意将其粘贴到此处，尽管有许多资源可供您了解网络上的线程转储

另一方面，正如@Marko 指出的那样，您可以更有效地处理执行程序关闭，我会说 ExecutorCompletionService 将满足您的要求并使代码更加优雅和易于阅读。在此处查看 ExecutorCompletionService一旦您确定空闲内核可能是您可以重构以使用 ECS。

于 2012-08-20T12:57:25.617 回答