multithreading - 在谷歌基准测试中对已经多线程的函数进行基准测试时如何暂停计时器？

Question

GitHub 上的文档有一个关于多线程基准测试的部分，但是，它需要将多线程代码放在基准测试定义中，并且库本身会使用多个线程调用此代码。

我想对一个在内部创建线程的函数进行基准测试。我只对优化多线程部分感兴趣，所以我想单独对该部分进行基准测试。因此，我想在函数的顺序代码运行或内部线程正在创建/销毁并进行设置/拆卸时暂停计时器。

Answer 1

使用线程屏障同步原语等到所有线程都已创建或完成设置等。此解决方案使用boost::barrier，但也可以std::barrier从 C++20 开始使用，或实现自定义屏障。如果实施自己很容易搞砸，请小心，但这个答案似乎是正确的。

传递benchmark::State & state给您的函数和线程以在需要时暂停/取消暂停。

#include <thread>
#include <vector>

#include <benchmark/benchmark.h>
#include <boost/thread/barrier.hpp>

void work() {
    volatile int sum = 0;
    for (int i = 0; i < 100'000'000; i++) {
        sum += i;
    }
}

static void thread_routine(boost::barrier& barrier, benchmark::State& state, int thread_id) {
    // do setup here, if needed
    barrier.wait();  // wait until each thread is created
    if (thread_id == 0) {
        state.ResumeTiming();
    }
    barrier.wait();  // wait until the timer is started before doing the work

    // do some work
    work();

    barrier.wait();  // wait until each thread completes the work
    if (thread_id == 0) {
        state.PauseTiming();
    }
    barrier.wait();  // wait until the timer is stopped before destructing the thread
    // do teardown here, if needed
}

void f(benchmark::State& state) {
    const int num_threads = 1000;
    boost::barrier barrier(num_threads);
    std::vector<std::thread> threads;
    threads.reserve(num_threads);
    for (int i = 0; i < num_threads; i++) {
        threads.emplace_back(thread_routine, std::ref(barrier), std::ref(state), i);
    }
    for (std::thread& thread : threads) {
        thread.join();
    }
}

static void BM_AlreadyMultiThreaded(benchmark::State& state) {
    for (auto _ : state) {
        state.PauseTiming();
        f(state);
        state.ResumeTiming();
    }
}

BENCHMARK(BM_AlreadyMultiThreaded)->Iterations(10)->Unit(benchmark::kMillisecond)->MeasureProcessCPUTime(); // NOLINT(cert-err58-cpp)
BENCHMARK_MAIN();

在我的机器上，此代码输出（跳过标题）：

---------------------------------------------------------------------------------------------
Benchmark                                                   Time             CPU   Iterations
---------------------------------------------------------------------------------------------
BM_AlreadyMultiThreaded/iterations:10/process_time       1604 ms       200309 ms           10

如果我注释掉所有state.PauseTimer()/ state.ResumeTimer()，它会输出：

---------------------------------------------------------------------------------------------
Benchmark                                                   Time             CPU   Iterations
---------------------------------------------------------------------------------------------
BM_AlreadyMultiThreaded/iterations:10/process_time       1680 ms       200102 ms           10

我认为 80 毫秒的实时 / 200 毫秒的 CPU 时间差异在统计上是显着的，而不是噪音，这支持了这个例子正确工作的假设。