c++ - 当我的程序只能以 1 Mbps 速率处理数据时如何处理 100 Mbps 输入流

Question

我正在做一个项目，我们可以有 100 Mbps 的输入数据流。

我的程序可以在一夜之间用于捕获这些数据，因此会生成巨大的数据文件。我解释这些数据的程序逻辑很复杂，每秒只能处理 1 Mb 数据。

我们还在处理后将字节转储到某个日志文件。我们不想丢失任何传入的数据，同时希望我的程序能够实时运行。所以；我们正在维护一个类似于缓存的循环缓冲区。

现在唯一能避免传入数据丢失的方法是增加这个缓冲区的大小。

请提出更好的方法来做到这一点，以及我可以尝试的替代缓存方式是什么？

Answer 1

将输入流式传输到文件。真的，别无选择。它进来的速度比你处理它的速度要快。

您可以每秒创建一个文件的输入数据。这样，您可以直接开始处理旧文件，同时在磁盘上流式传输新文件。