我正在用 c# 开发一个应用程序，它处理来自队列（如缓冲区）的大量传入和传出数据流。缓冲区需要是磁盘中的某种文件。数据将经常写入缓冲区（我说的是每 10 毫秒一次！）。写入的每个数据将在缓冲区中创建 1 条记录/行。
同一程序还将读取缓冲区（逐行）并处理缓冲的数据。在处理完一行/记录后，缓冲数据必须立即从缓冲文件中删除该行/记录，以防止它在系统重新启动时重新处理缓冲数据。这种读取和删除也将以非常快的速度完成（比如每 10 毫秒左右）。
所以它是一个系统，它可以写入、读取和清除已读取的内容。如果程序决定不处理缓冲的数据，这个缓冲区的大小可能会增长到 5GB (GIGABYTE)，因此变得更加困难。
**所以我的问题是：我应该使用什么样的方法来处理这种缓冲机制？我看过使用 SQlite 和简单的文本文件，但它们在处理大尺寸文件时可能效率低下，或者在处理并发插入、读取和删除时可能不太好。
无论如何，非常感谢任何建议。提前感谢您提供的任何答案！**