2

我正在考虑在 GPU 上处理数据的可能性,这对于 GPU 内存来说太大了,我有几个问题。

如果我理解正确,使用映射内存,数据驻留在主内存中,并且仅在访问时才传输到 GPU,因此分配超过 GPU 内存的内存应该不是问题。

UVA 类似于映射内存,但数据既可以存储在 CPU 内存中,也可以存储在 GPU 内存中。但是 GPU 是否有可能在充满自己的数据的同时访问主内存(与映射内存一样)?在这种情况下会发生内存溢出吗?我已经读过,使用映射内存,数据直接进入本地内存,而不是先传输到全局内存,在这种情况下不应该有任何溢出。这是真的吗?如果是的话,UVA 也是这样吗?

在 CUDA 6.0 中,UM 不允许超额订阅 GPU 内存(并且通常不允许分配比 GPU 更多的内存,即使在主内存中也是如此),但在 CUDA 8.0 中,它成为可能(https://devblogs .nvidia.com/parallelforall/beyond-gpu-memory-limits-unified-memory-pascal/)。我做对了吗?

4

1 回答 1

5

是的,使用映射(即固定,“零复制”)方法,数据保留在主机内存中并按需传输到 GPU,但永远不会驻留在 GPU 内存中(除非 GPU 代码将其存储在那里)。如果您多次访问它,您可能需要从主机多次传输它。

UVA(Unified Virtual Addressing see here)与 UM(Unified Memory,see here)或托管内存(== UM)不同,所以我将这种情况称为 UM,而不是 UVA。

在 pre-pascal 设备上使用 UM,UM“托管”分配将在 CPU 和 GPU 之间自动移动,但受到一些限制,但您不能超额订阅 GPU 内存。所有普通 GPU 分配加上 UM 分配的最大数量不能超过 GPU 物理内存。

使用 UM 加上 CUDA 8.0 或更高版本以及 Pascal 或更新的 GPU,您可以使用 UM(“托管”)分配超额订阅 GPU 内存。然后,这些分配名义上受限于系统内存的大小(减去对系统内存的任何其他需求)。在这种情况下,CUDA 运行时使用按需分页方法自动在主机和设备内存之间来回移动数据。

UVA 不是 CUDA 中的实际数据管理技术。它是一种底层技术,可以启用某些功能,例如映射内存的某些方面,并且通常可以启用 UM 功能。

于 2017-09-21T01:17:49.430 回答