我想澄清一下统一内存，它是如何工作的以及如何有效地使用它。
据我所知，我们使用cudaMallocManaged(ptr, size);统一内存来分配数组。由于 Pascal 架构，可以将大小设置为大于 GPU 上可用的物理内存。
假设现在我有一个 4GB RAM、32GB RAM 用于主机和一个 1TB 文件的 GC。我想处理这个 1TB 的文件，我该如何处理？
如果我理解得很好，我可以将文件放在统一内存中，但是这个统一数组和文件之间的链接是如何进行的呢？这是否意味着我必须memcpy使用分配的指针中的整个文件cudaMallocManaged？
最后，告诉我我是否正确。如果 GPU 出现未命中，CPU 将发送它存储在其 RAM 中的数据，如果不是从磁盘发送。它有点简化，但如果它像这样工作，则意味着数据需要在统一数组中。
谢谢您的帮助。
我的回复假设您在 Linux 上运行 CUDA 9.x 或更高版本、Pascal 或 Volta GPU。
您将能够超额订阅 GPU 内存，最高可达主机内存的大小（即主机操作系统允许您分配的任何内存），减去任何内存分配过程中常见的合理数量（您不应该期望分配主机内存的每个最后一个字节，同样不应尝试对托管内存分配做同样的事情）。
统一内存与文件或磁盘上存储的任何内容之间没有链接。
就像您可能无法将整个 1TB 文件加载到 32GB 的 RAM 中一样，您也无法使用托管内存一次访问所有文件。无论主机操作系统允许您分配/加载多少，您将拥有 GPU 可用的大小。
因此，为了处理该 1TB 文件，您可能需要提出一种算法，将其分解为适合系统 RAM 的部分。这个概念完全独立于托管内存。此后，如果您想使用 CUDA 访问系统 RAM 中的文件，您可以使用托管内存，包括超额订阅，如果您愿意的话。
将文件分解成碎片的确切过程将取决于您正在执行的处理类型，并且对 CUDA 没有特别的依赖性。
在某些系统上可能会超额订阅 CPU 内存。在 NVLink 上使用 Power 9 + V100，您可以使用操作系统的地址转换服务 (ATS)，如此处所述。
这样做，可以使用来自 GPU 的 1TB 数据，即使主机系统上的 RAM 量要少得多。需要进行的操作如下：
mmapped 的文件描述符。mmap将整个文件映射到虚拟地址空间（实验系统上限制为 49 位，即 512 TB）。发生的情况是操作系统分页机制将根据需要将文件的分页分页块分页，而 GPU 将依赖 ATS 进行此操作。
在 x86_64 和/或上一代 GPU 和/或 PCI-Express 连接系统上进行此类练习没有提及，也没有成功测试。