c++ - c++ pthread限制线程数

Question

我尝试使用 pthread 更快地完成一些任务。我有数千个文件（在 args 中）要处理，我想多次创建少量线程。
这是我的代码：

void callThread(){
    int nbt = 0;
    pthread_t *vp = (pthread_t*)malloc(sizeof(pthread_t)*NBTHREAD);
    for(int i=0;i<args.size();i+=NBTHREAD){
        for(int j=0;j<NBTHREAD;j++){
              if(i+j<args.size()){
                   pthread_create(&vp[j],NULL,calcul,&args[i+j]);   
                   nbt++;
              }
        }
        for(int k=0;k<nbt;k++){
              if(pthread_join(vp[k], NULL)){
                   cout<<"ERROR pthread_join()"<<endl;
              } 
        }
   }
}

它返回错误，我不知道这是否是解决我的问题的好方法。所有资源都在 args（结构向量）中并且是独立的。
感谢帮助。

score 3 · Accepted Answer

您最好创建一个线程池，其线程数与 CPU 的内核数一样多。然后将任务提供给这个池并让它完成它的工作。您应该在这里查看这篇博客文章，了解如何创建此类线程池的一个很好的示例。

那篇文章中没有提到的几个技巧：

用于std::thread::hardware_concurrency()获取核心数。
找出一种方法来存储任务、提示：std::packaged_task或类似包裹在类中的内容，这样您就可以跟踪诸如任务何时完成或实现之类的事情task.join()。
此外，可以在 github 上找到他的实现代码以及一些额外的东西，例如std::future支持。

score 2 · Accepted Answer

您可以使用信号量来限制并行线程的数量，这是一个伪代码：

Semaphore S = MAX_THREADS_AT_A_TIME  //  Initial semaphore value
declare handle_array[NUM_ITERS];

for(i=0 to NUM_ITERS)
{
wait-while(S<=0);
Acquire-Semaphore;  //  S--

handle_array[i] = Run-Thread(MyThread);

}

for(i=0 to NUM_ITERS)
{
Join_thread(handle_array[i])
Close_handle(handle_array[i])
}


MyThread()
{
mutex.lock

critical-section

mutex.unlock

release-semaphore // S++
}

c++ - c++ pthread限制线程数

2 回答 2

Related

Reference