3

考虑以下代码：

std::vector<int> indices = /* Non overlapping ranges. */;
std::istream& in = /*...*/;

for(std::size_t i= 0; i< indices.size()-1; ++i)
{
    in.seekg(indices[i]);

    std::vector<int> data(indices[i+1] - indices[i]);

    in.read(reinterpret_cast<char*>(data.data()), data.size()*sizeof(int));

    process_data(data);
}

我想让这段代码尽可能快地并行。

使用PPL将其并行化的一种方法是：

std::vector<int> indices = /* Non overlapping ranges. */;
std::istream& in = /*...*/;
std::vector<concurrency::task<void>> tasks;    

for(std::size_t i= 0; i< indices.size()-1; ++i)
{
    in.seekg(indices[i]);

    std::vector<int> data(indices[i+1] - indices[i]);

    in.read(reinterpret_cast<char*>(data.data()), data.size()*sizeof(int));

    tasks.emplace_back(std::bind(&process_data, std::move(data)));
}
concurrency::when_all(tasks.begin(), tasks.end()).wait();

这种方法的问题是我想在同一个线程中处理数据（适合 CPU 缓存），因为它被读入内存（数据在缓存中很热），这不是这里的情况，它只是浪费了使用热数据的机会。

我有两个想法如何改进这一点，但是，我也无法实现。

  1. 在单独的任务上开始下一次迭代。

    /* ??? */
{
     in.seekg(indices[i]);

     std::vector<int> data(indices[i+1] - indices[i]); // data size will fit into CPU cache.

     in.read(reinterpret_cast<char*>(data.data()), data.size()*sizeof(int));

     /* Start a task that begins the next iteration? */

     process_data(data);
}

  2. 使用内存映射文件并映射文件的所需区域，而不是仅仅从具有正确偏移量的指针中读取。使用 处理数据范围parallel_for_each。但是，我不了解内存映射文件在何时读取到内存和缓存注意事项方面的性能影响。也许我什至不必考虑缓存，因为文件只是 DMA:d 到系统内存，从不通过 CPU？

有什么建议或意见吗？

4

1 回答 1

0

你很可能追求错误的目标。如前所述，“热数据”的任何优势都将与磁盘速度相形见绌。否则，有些重要的细节你没有告诉。
1）文件是否“大”
2）单条记录是否“大”
3）处理是否“慢”

如果文件是“大”的，那么您的首要任务是确保按顺序读取文件。你的“指数”让我不这么认为。根据我自己的经验，最近的例子是 6 秒 vs 20 分钟，具体取决于随机读取还是顺序读取。不开玩笑。

如果文件“小”并且您确定它已完全缓存，您只需要一个同步队列来将任务交付给您的线程，那么在同一个线程中处理不会有问题。

另一种方法是将“索引”分成两半，每个线程一个。

于 2012-08-22T12:27:23.923 回答