0

我在我的 jetson xavier nx 上使用 tensorflow 1.14 运行基本对象检测模型。我正在尝试优化我在这个模型上的内存使用。我在 cpu 和 gpu 之间有 8 gb 共享内存。在我进行任何优化之前,裸模型运行在 ~6gb 内存上。当我使用 per_process_gpu_memory_fraction=0.2 仅将 %20 内存用于 gpu 时,顺便说一下,我不确定这在 jetson 的共享内存上是如何工作的,它绝对不会限制我的所有内存或让 gpu 仅使用总内存的 %20很奇怪,对我来说甚至更荒谬的是,当我使用该参数时,我的总内存消耗下降到 ~4gb,而没有明显的后果。我期待它会增加模型的推理时间,但事实并非如此,它相对相似。

现在这对我来说太棒了,但我想知道如何节省 2gb 的内存而不会有任何后果?幕后发生了什么?

4

0 回答 0