chainer - 如何在chainer v2.1.0中使用mix link Multi-CPU的并行计算

Question

在我的研究中。我在神经网络中写了2层，最底层的第一层是运行在GPU上的RNN，最上面的第二层是CPU（算法模型性质更适合CPU），我在chainer自定义Link中在CPU中实现。

但是，CPU 层很慢，我等不及我的论文提交的截止日期。所以我想使用这一层的并行计算。

实现并行此链接的最佳实践和快速方法是什么？

Answer 1

首先，ChainerMN（不是 Chainer）不支持在单层内加速计算的直接方式。

我建议考虑以下选项。

• 也将 GPU 用于“CPU 友好”层
• 使用 Cython 或其他加速技术
• 在 CPU 上使用多线程

谢谢。