python - Theano 只使用了我 40% 的 GPU

Question

我开始涉足深度学习，我正在尝试第 6 章中的示例，位于 neuronetworksanddeeplearning.com 上。Theano 告诉我，它正在使用我的 GPU（GTX 780）。然而，GPU 使用率仅徘徊在 40~50% 左右，时钟速度仅为 ~800 MHz（游戏中的正常 Boost 时钟为 ~1100 MHz）。

这是正常的吗？或者这里有什么问题？

Answer 1

这是正常的。实际上，40~50% 应该被认为是高使用率。诸如向量连接之类的一些操作是在 CPU 上执行的。GPU 必须等待这些操作完成，然后才能将结果用作输入。此外，开销可能是由从内存中加载数据引起的。

所以人们通常在同一个 GPU 上运行 2~3 个程序来充分利用它。