7

我的一些关于并行 I/O 的测试发生了一个非常奇怪的情况。情况就是这样。我有多个线程打开同一个文件的文件处理程序，并从文件的多个位置（均匀间隔）读取有限数量的字节并将其转储到数组中。一切都是通过增强线程完成的。现在，我假设由于随机访问搜索，HDD 应该会变慢。这就是为什么我的测试实际上是针对 SSD 的。事实证明，与 HDD 相比，从固态磁盘读取相同文件时，我几乎没有得到任何加速。想知道问题可能是什么？这对我来说似乎很令人惊讶/我还在下面发布我的代码，看看我到底在做什么：

    void readFunctor(std::string pathToFile, size_t filePos, BYTE* buffer, size_t buffPos, size_t dataLn, boost::barrier& barier) {

        FILE* pFile;
        pFile = fopen(pathToFile.c_str(), "rb");

        fseek(pFile, filePos, SEEK_SET);
        fread(buffer, sizeof(BYTE), dataLn, pFile);

        fclose(pFile);
        barier.wait();

    }

    void joinAllThreads(std::vector<boost::shared_ptr<boost::thread> > &threads) {

        for (std::vector<boost::shared_ptr<boost::thread> >::iterator it = threads.begin(); it != threads.end(); ++it) {
            (*it).get()->join();

        }

    }

    void readDataInParallel(BYTE* buffer, std::string pathToFile, size_t lenOfData, size_t numThreads) {
        std::vector<boost::shared_ptr<boost::thread> > threads;
        boost::barrier barier(numThreads);
        size_t dataPerThread = lenOfData / numThreads;

        for (int var = 0; var < numThreads; ++var) {
            size_t filePos = var * dataPerThread;
            size_t bufferPos = var * dataPerThread;
            size_t dataLenForCurrentThread = dataPerThread;
            if (var == numThreads - 1) {
                dataLenForCurrentThread = dataLenForCurrentThread + (lenOfData % numThreads);
            }

            boost::shared_ptr<boost::thread> thread(
                    new boost::thread(readFunctor, pathToFile, filePos, buffer, bufferPos, dataLenForCurrentThread, boost::ref(barier)));
            threads.push_back(thread);

        }

        joinAllThreads(threads);

    }

现在..在我的主文件中我几乎有..：

    int start_s = clock();
    size_t sizeOfData = 2032221073;
    boost::shared_ptr<BYTE> buffer((BYTE*) malloc(sizeOfData));
    readDataInParallel(buffer.get(), "/home/zahari/Desktop/kernels_big.dat", sizeOfData, 4);
    clock_t stop_s = clock();
    printf("%f %f\n", ((double) start_s / (CLOCKS_PER_SEC)) * 1000, (stop_s / double(CLOCKS_PER_SEC)) * 1000);

令人惊讶的是，从 SSD 读取时，与 HDD 相比，我没有得到任何加速？为什么会这样？

4

4 回答 4

7

您的文件可能会被缓存，因此您测量的是 CPU 开销而不是 I/O。posix_fadvise()您可以在读取文件之前使用“wontneed”标志调用文件，而不是刷新整个磁盘缓存，以建议内核不要缓存它。也就是说，假设您在某种 *nix 平台或 Mac OS 上。

于 2013-11-21T15:06:43.113 回答
6

对此的一个可能解释是您没有在 SATA III 设置下运行。您正在使用的 SATA III 6gb/s SSD 驱动器连接到主板上较旧的 SATA II 3gb/s 控制器。在这种情况下，您的 SSD 将被限制为 3 gb/s。

检查您的硬件配置。如果是 SATA II，您需要更换主板以让您的 SSD 发挥其全部性能潜力。

检查您的 HDD 磁盘驱动器是否为 SATA、SATA II 或 SATA III。

确保您在硬件接口级别将苹果与苹果进行比较。

于 2015-09-22T09:05:07.790 回答
2

根据您的数据大小，在 SSD 或 HDD 中，操作系统将缓存您的文件。所以，可能你并没有真正访问你的磁盘，而是内存。

于 2013-07-16T12:47:16.977 回答
2

您的测量主要是设置四个线程的所有样板，每个线程执行一次读取，然后在四个线程中的最后一个执行barier.wait().

为了衡量性能，每个线程应该在终止前循环读取数千个单字节。

以下是我的改变建议：

   void readFunctor(std::string pathToFile, size_t filePos, BYTE* buffer, size_t buffPos, size_t dataLn) 
   {

       FILE* pFile;
       pFile = fopen(pathToFile.c_str(), "rb");

       fseek(pFile, filePos, SEEK_SET);
       // initialize random number generation
       std::random_device rd;
       tr1::uniform_int_distribution<> randomizer(0, dataLn-1);

       for (int i=0; i<dataLn; i++)
       {
           fseek(pFile, filePos+randomizer(rd), SEEK_SET);
           fread(buffer++, sizeof(BYTE), 1, pFile);
       }

       fclose(pFile);
    }
于 2013-07-16T12:28:31.843 回答