59

我认为对于 GPU 内存不足的 PyTorch 用户来说，这是一条很常见的信息：

RuntimeError: CUDA out of memory. Tried to allocate  MiB (GPU ;  GiB total capacity;  GiB already allocated;  MiB free;  cached)

我想为我的课程研究对象检测算法。而且许多深度学习架构需要大容量的 GPU 内存，所以我的机器无法训练这些模型。我尝试通过将每一层加载到 GPU 然后将其加载回来来处理图像：

for m in self.children():
   m.cuda()
   X = m(X)
   m.cpu()
   torch.cuda.empty_cache()

但它似乎不是很有效。我想知道在使用少量 GPU 内存的同时训练大型深度学习模型是否有任何提示和技巧。提前致谢！

编辑：我是深度学习的初学者。如果这是一个愚蠢的问题，请道歉：）

4

13 回答 13

55

虽然，

    import torch
    torch.cuda.empty_cache()

为清除占用的cuda内存提供了一个很好的选择，我们也可以通过使用手动清除未使用的变量，

    import gc
    del variables
    gc.collect()

但是在使用这些命令之后，错误可能再次出现，因为pytorch实际上并没有清除内存，而是清除了对变量占用的内存的引用。因此，在重新启动内核并找到最佳的 batch_size 后减小 batch_size 是最好的选择（但有时不是一个非常可行的选择）。

另一种更深入地了解 gpu 中内存分配的方法是使用：

    torch.cuda.memory_summary(device=None, abbreviated=False)

其中，两个参数都是可选的。这给出了内存分配的可读摘要，并允许您找出 CUDA 内存不足的原因并重新启动内核以避免再次发生错误（就像我在我的案例中所做的那样）。

迭代地传递数据可能会有所帮助，但改变网络层的大小或将它们分解也会被证明是有效的（因为有时模型也会占用大量内存，例如，在进行迁移学习时）。

于 2020-06-24T13:48:59.820 回答
29

只需减少批量大小，它就会起作用。在我训练时，它给出了以下错误：

CUDA 内存不足。尝试分配 20.00 MiB（GPU 0；10.76 GiB 总容量；4.29 GiB 已分配；10.12 MiB 空闲；PyTorch 总共保留 4.46 GiB）

而且我使用的批量大小为 32。所以我只是将其更改为 15，它对我有用。

于 2020-10-13T02:27:00.303 回答
20

将批次迭代地发送到 CUDA，并制作小批量。不要一开始就一次将所有数据发送到 CUDA。相反，请按以下方式进行：

for e in range(epochs):
    for images, labels in train_loader:   
        if torch.cuda.is_available():
            images, labels = images.cuda(), labels.cuda()   
        # blablabla

您也可以dtypes使用更少的内存。例如，torch.float16或torch.half。

于 2019-12-01T20:55:58.663 回答
8

尽量不要把你的毕业生拖得太远。

当我试图总结所有批次的损失时，我得到了同样的错误。

loss =  self.criterion(pred, label)

total_loss += loss

然后我使用 loss.item 而不是需要毕业生的损失，然后解决了问题

loss =  self.criterion(pred, label)

total_loss += loss.item()

下面的解决方案归功于kaggle 问题中的yuval reina

此错误与 GPU 内存有关，而不是一般内存 => @cjinny 评论可能不起作用。
你使用 TensorFlow/Keras 还是 Pytorch？
尝试使用较小的批量大小。
如果您使用 Keras，请尝试减少一些隐藏层大小。
如果您使用 Pytorch：
您是否一直将所有训练数据保存在 GPU 上？
确保不要将毕业生拖得太远
检查隐藏层的大小

于 2020-10-28T19:53:13.613 回答
5

大部分东西都涵盖了，还是会加一点。

如果 torch 给出错误为“试图分配 2 MiB”等，这是一个误导性消息。实际上，CUDA 耗尽了训练模型所需的总内存。您可以减少批量大小。比如说，即使批量大小为 1 不起作用（当您训练具有大量序列的 NLP 模型时发生），尝试传递较少的数据，这将帮助您确认您的 GPU 没有足够的内存来训练模型。

此外，如果您想重新训练模型，则必须再次完成垃圾收集和清理缓存部分。

于 2021-10-21T13:33:12.313 回答
1

跟着这些步骤：

  1. 减少 train,val,test 数据
  2. 减少批量大小{例如。16 或 32}
  3. 减少模型参数的数量（例如。不到百万}

就我而言，当我在 kaggle 内核中训练通用语音数据集时，也会出现相同的错误。我将训练数据集减少到 20000，批量大小减少到 16，模型参数减少到 112K。

于 2021-07-09T10:55:47.430 回答
0

执行：

  1. 将图像批量输入 gpu。

  2. 在训练或推理期间使用小批量。

  3. 使用较小的图像尺寸调整输入图像的大小。

技术上：

  1. 大多数网络都过度参数化，这意味着它们对于学习任务来说太大了。因此，找到合适的网络结构可以帮助：

一种。使用模型压缩、网络修剪和量化等技术压缩您的网络。

湾。直接使用像mobileNetv1/2/3这样更紧凑的网络结构。

C。网络架构搜索（NAS）。

于 2020-10-13T05:57:20.820 回答
0

有一些方法可以避免，但这当然取决于你的 GPU 内存大小：

  1. 迭代解包数据时在GPU中加载数据，
features, labels in batch:
   features, labels = features.to(device), labels.to(device)
  1. 使用 FP_16 或单精度浮点数据类型。
  2. 如果内存不足，请尝试减小批量大小。
  3. 使用.detach()方法从 GPU 中删除不需要的张量。

如果以上所有都使用得当，PyTorch 库已经是高度优化和高效的。

于 2020-10-30T19:54:27.013 回答
0

我有同样的错误，但通过使用以下行将图像的大小从 ~600 调整为 100 来修复它：

import torchvision.transforms as transforms
transform = transforms.Compose([
    transforms.Resize((100, 100)), 
    transforms.ToTensor()
])
于 2020-12-29T19:00:05.037 回答
0

虽然这看起来很奇怪，但我发现有许多会话在后台运行以进行协作，即使我们恢复出厂设置运行时或关闭选项卡也是如此。我通过单击菜单中的“运行时”然后选择“管理会话”来克服这个问题。我终止了所有不需要的会话，我很高兴。

于 2021-07-26T17:10:47.680 回答
0

我建议使用 PyTorch 的混合精度训练。它可以使训练更快，消耗更少的内存。

看看https://spell.ml/blog/mixed-precision-training-with-pytorch-Xuk7YBEAACAASJam。

于 2021-08-18T15:33:09.950 回答
0

现在有一个非常棒的库，它使这变得非常简单：https ://github.com/rentruewang/koila

pip install koila

在您的代码中，只需用惰性包装输入：

from koila import lazy
input = lazy(input, batch=0)
于 2021-12-01T20:23:12.333 回答
-2

最好的方法是降低批量大小。通常它会起作用。否则试试这个：

import gc

del variable #delete unnecessary variables 
gc.collect()
于 2020-10-20T10:58:01.770 回答