我正在寻找启用基于云的动态 NVIDIA GPU 虚拟化的选项，类似于 AWS 为Cluster GPU Instances分配 GPU 的方式。
我的项目正在建立一个内部云。一项要求是能够将 GPU 分配给虚拟机/实例以进行服务器端 CUDA 处理。
USC 似乎正在开发OpenStack 增强功能以支持这一点，但它还没有准备好。如果它在 OpenStack 中功能齐全，这正是我正在寻找的。
NVIDIA VGX似乎只支持将 GPU 分配给USM，这是严格的远程桌面 GPU 虚拟化。如果我错了，并且 VGX 确实从虚拟机/实例启用了服务器端 CUDA 计算，那么请告诉我。
“基于云的动态 NVIDIA GPU 虚拟化类似于 AWS 为集群 GPU 实例分配 GPU 的方式。”
AWS 并没有真正动态地分配 GPU：每个 GPU 集群计算有 2 个固定的 GPU。所有其他服务器（包括常规集群计算）都没有任何 GPU。即他们没有API，你可以说“GPU or not”，它固定为使用固定硬件的盒子类型。
Xen 上的 pass-thru 模式是专门为您的用例而设计的：将硬件从 Host 传递到 Guest。默认情况下它不是“动态的”，但您可以编写一些代码来选择其中一位客人来获取主机上的每张卡。
有一个名为 GPUBox 的解决方案可以虚拟化 CUDA 中的设备。它可以在亚马逊或您自己的基础设施上使用。
引自网站（http://renegatt.com/solutions.php）：
GPUBox 软件通过将应用程序和操作系统与底层 GPU 设备分离来简化 GPU 管理。它是一种允许许多用户动态共享同一池中的 GPU 设备的解决方案。(...)GPUBox 支持将 GPU 设备按需配置到具有 Linux 或 Windows 操作系统的物理机或虚拟机。GPU 设备池在用户之间共享，从而降低了总功耗和空闲运行的硬件。