cuda - 联网 CUDA GPU

Question

在云场景的请求/响应中，多台低端计算机是否可以分别对位于中央服务器上的 GPU 进行 CUDA 调用？让这些低端计算机好像拥有一个“虚拟”GPU。

Answer 1

我有一个类似的问题要解决。

该数据库位于低端机器中，我在本地网络上有一组 GPU 可供我使用。

我做了一个小客户端（在低端机器上）来解析数据库，用谷歌协议缓冲区序列化数据，然后用zmq 套接字将它们发送到服务器。对于数据分发，您可以使用异步发布者/订阅者套接字。

在服务器端，您反序列化数据并且您有 CUDA 程序来运行计算（它也可以是一个守护程序，因此您不必每次都自己启动它）。

一旦数据在服务器上准备好，您可以从客户端发出同步消息（请求/回复套接字），当服务器收到消息时，它会调用 CUDA 内核的函数包装器。

如果您需要在客户端处理返回的结果，您可以按照反向路由将数据发送回客户端。

如果数据已经在服务器中，那就更容易了。您只需要请求/回复套接字来发送消息并调用该函数。

检查zmq手册，他们有很多编程语言的例子。