我有一个 16GB 内存的 NVIDIA GPU。我必须运行两个不同的（并且是独立的；意思是，两个不同的问题：一个是视觉类型任务，另一个是 NLP 任务）Python 程序。代码是使用 PyTorch 编写的，并且两个代码都可以使用 GPU。
我已经测试过程序 1 需要大约 5GB 的 GPU 内存，其余的都是免费的。如果我运行这两个程序，它会妨碍模型性能还是会导致任何进程冲突？
问问题
266 次
2 回答
1
我不知道它是如何工作的细节，但我可以从经验中看出这两个程序运行良好（只要它们组合时不需要超过 16GB 的 RAM），并且执行时间应该保持大致相同。
但是，计算机视觉通常需要大量的 IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比单独运行两个程序时慢。
于 2020-12-21T23:17:11.397 回答
1
它应该可以正常工作。
在我的一个项目中，我在处理多个模型时遇到了 GPU 内存不足的问题。加载它们后，我的模型过去常常占用大部分 GPU 内存。在模型推理期间，用于保留数据的内存非常少。众所周知，如果您的模型加载到 GPU 上，那么您还需要将数据加载到 GPU 上。因此，当您进行批量推断（例如，一次向模型提供 16 个图像）时，完整的批次将加载到 GPU 上。这又需要更多的 GPU 内存。如果你的程序没有获得足够的 GPU 内存，它就会崩溃。
如果您认为 GPU 内存不是您的问题，那么一切都应该正常。您也不必担心冲突，因为两个进程都会分配自己的 GPU 内存并独立工作。不会有性能问题。
于 2020-12-22T16:51:19.907 回答