11

我在写入文件时遇到了一些问题——即写入速度不够快。

解释一下，我的目标是捕获通过千兆以太网传入的数据流并将其保存到文件中。

原始数据以 10MS/s 的速率输入，然后保存到缓冲区，随后写入文件。

以下是代码的相关部分：

    std::string path = "Stream/raw.dat";
    ofstream outFile(path, ios::out | ios::app| ios::binary);

    if(outFile.is_open())
        cout << "Yes" << endl;

    while(1)
    {
         rxSamples = rxStream->recv(&rxBuffer[0], rxBuffer.size(), metaData);
         switch(metaData.error_code)
         {

             //Irrelevant error checking...

             //Write data to a file
                std::copy(begin(rxBuffer), end(rxBuffer), std::ostream_iterator<complex<float>>(outFile));
         }
    }

我遇到的问题是将样本写入文件需要很长时间。大约一秒钟后，发送样本的设备报告其缓冲区已溢出。在对代码进行一些快速分析之后，几乎所有的执行时间都花在了std::copy(...)（准确地说是 99.96% 的时间）上。如果我删除这一行，我可以运行程序几个小时而不会遇到任何溢出。

也就是说，我对如何提高写入速度感到很困惑。我浏览了这个网站上的几篇文章，似乎最常见的建议（关于速度）是像我已经做过的那样实现文件写入 - 通过使用std::copy.

如果有帮助，我正在 Ubuntu x86_64 上运行这个程序。任何建议，将不胜感激。

4

2 回答 2

13

所以这里的主要问题是您尝试在收到的同一线程中写入，这意味着您的 recv() 只能在复制完成后再次调用。几点观察：

  • 将写作移至不同的线程。这是关于 USRP，所以 GNU Radio 可能真的是您选择的工具——它本质上是多线程的。
  • 您的输出迭代器可能不是最高效的解决方案。简单地将“write()”写入文件描述符可能会更好，但这取决于您的性能测量
  • 如果您的硬盘驱动器/文件系统/操作系统/CPU 达不到来自 USRP 的速率，即使将接收与写入线程分离，那么您也无能为力——获得更快的系统。
  • 尝试写入 RAM 磁盘

事实上，我不知道你是怎么想出这种std::copy方法的。UHD 附带的rx_samples_to_file 示例通过简单的写入来完成此操作，您绝对应该喜欢它而不是复制；在好的操作系统上，文件 I/O 通常可以少一份副本来完成，并且迭代所有元素可能非常慢。

于 2015-08-05T17:13:54.397 回答
5

让我们做一点数学。

您的样本（显然）是 type std::complex<std::float>。给定一个（典型的）32 位浮点数，这意味着每个样本都是 64 位。在 10 MS/s 时，这意味着原始数据大约是每秒 80 兆字节——这在您可以期望写入桌面 (7200 RPM) 硬盘驱动器的范围内，但已经非常接近极限（通常约为 100 -100 兆字节/秒左右）。

不幸的是，尽管std::ios::binary，您实际上是以文本格式编写数据（因为std::ostream_iterator基本上是stream << data;）。

这不仅会损失一些精度，而且会增加数据的大小，至少通常是这样。确切的增加量取决于数据——一个小的整数值实际上可以减少数据量，但对于任意输入，接近 2:1 的大小增加是相当常见的。随着 2:1 的增加，您的传出数据现在约为 160 兆字节/秒 - 这比大多数硬盘驱动器可以处理的速度更快。

改进的明显起点是以二进制格式写入数据：

uint32_t nItems = std::end(rxBuffer)-std::begin(rxBuffer);
outFile.write((char *)&nItems, sizeof(nItems));
outFile.write((char *)&rxBuffer[0], sizeof(rxBuffer));

目前我sizeof(rxBuffer)假设它是一个真正的数组。如果它实际上是一个指针或向量，则必须计算正确的大小（您想要的是要写入的字节总数）。

我还要注意，就目前而言，您的代码有一个更严重的问题：由于它在写入数据时没有指定元素之间的分隔符，因此写入数据时将没有任何东西将一个项目与下一个。这意味着如果你写了两个（例如）1和的值0.2，你读回的不是1和0.2，而是一个单一的值10.2。在您的文本输出中添加分隔符将增加更多开销（大约多出 15% 的数据）到已经失败的进程，因为它生成了太多数据。

以二进制格式写入意味着每个浮点数将精确消耗 4 个字节，因此不需要分隔符来正确读回数据。

之后的下一步将是下降到较低级别的文件 I/O 例程。根据情况，这可能会或可能不会有太大的不同。在 Windows 上，您可以指定FILE_FLAG_NO_BUFFERING何时使用CreateFile. 这意味着对该文件的读写基本上会绕过缓存并直接进入磁盘。

在您的情况下，这可能是一个胜利 - 在 10 MS/s 时，您可能会在重新读取相同数据之前用完缓存空间很长一段时间。在这种情况下，让数据进入缓存几乎不会给您带来任何好处，但会花费一些数据来将数据复制到缓存，然后再将其复制到磁盘。更糟糕的是，所有这些数据可能会污染缓存，因此它不再存储更有可能从缓存中受益的其他数据。

于 2015-08-05T17:59:11.097 回答