上下文
我编写了一个实时读取在线市场数据并将其写入磁盘的软件。每个安全都通过多线程自定义队列后台工作程序写入单个文件。
Worker_Q_Security_A > File_A(追加)
市场数据 > Worker_Q_Security_B > File_B(追加)
Worker_Q_Security_C > File_C(追加)
为每条消息创建一个工作实例并排队,以减轻实时阅读器的负载并避免该级别的瓶颈。
问题
现在发生的情况是,随着数据量的增长,我接收数据的速度比写入数据的速度更快。这导致Workers Queues越来越大,写入的数据延迟越来越多。
有什么建议可以帮助提高速度性能,使写入速度更快、延迟低并避免写入工作人员级别的瓶颈?
编辑:
我正在使用 Pooya Khamooshi 的QueuedBackgroudWorker的定制版本
我不知道如何设计一种能够按到达顺序将滴答写入委托给线程系统的架构,并避免为每个滴答创建一个工作人员。