python - 多进程迭代器不起作用

Question

我正在使用来自chainer的MultiprocessIterator来训练NN。代码在这里。

结果是：

nproc = 1,  307.65s
nproc = 4,  318.85s
nproc = 8,  302.91s
nproc = 16, 318.18s

系统信息：

Ubuntu 14.04.5 LTS (GNU/Linux 4.4.0-104-generic x86_64)
CPU(s): 16
Model name: Intel(R) Xeon(R) CPU E5-2695 v4 @ 2.10GHz
VGA compatible controller: Cirrus Logic GD 5446

似乎MultiprocessIterator不起作用。有人有线索吗？先感谢您。

Answer 1

引用自：https ://github.com/chainer/chainer/issues/4723

MultiiprocessIterator 只是（有时）加快了从 Dataset 中获取批次的速度，并且不会加速任何 GPU 计算。在大多数情况下，计算瓶颈是前向/后向，因此 MultiiprocessIterator 对总时间没有影响是很自然的。