我正在运行一个多个并行文件处理进程(至少 200 个进程),其中每个进程正在读取不同大小(0-50mb)的日志以捕获日志的实时数据。我在 16 个内核和 8 GB 上运行我的作业内存 Linux 机器。
但是文件的 cpu 和经过的时间过程之间存在巨大的滞后。
您能否通过一些示例来解释为什么 b/w cpu 和经过的时间如此滞后?还有什么方法可以减少这些进程的等待时间。
我正在运行一个多个并行文件处理进程(至少 200 个进程),其中每个进程正在读取不同大小(0-50mb)的日志以捕获日志的实时数据。我在 16 个内核和 8 GB 上运行我的作业内存 Linux 机器。
但是文件的 cpu 和经过的时间过程之间存在巨大的滞后。
您能否通过一些示例来解释为什么 b/w cpu 和经过的时间如此滞后?还有什么方法可以减少这些进程的等待时间。
你在运行什么发行版?我问是因为解决此问题的一种方法是使用不同的 I/O 调度程序,但您的发行版可能不支持更改调度程序。某些 I/O 调度程序最适合不同的文件系统和架构,因此我建议您查看这里以了解不同的调度程序。至于您遇到的差异,老实说,我不知道发生了什么。
另外,我假设日志文件位于 SSD 上?