cuda - cudaFree() 是异步的吗？

Question

我的问题就像标题一样。实际上，我正在寻找一种异步释放设备内存的方法。

谢谢！

Answer 1

cudaFree()是同步的。如果你真的希望它是异步的，你可以创建你自己的 CPU 线程，给它一个工作队列，然后注册cudaFree来自你的主线程的请求。

也就是说，异步释放似乎是一个奇怪的请求。也许您可以解释为什么您希望它是异步的。您是否希望在触发 CUDA 事件后立即免费发生？

Answer 2

cudaFree() 不是异步的。当从主机调用 cudaFree() 时，会在内部调用同步调用。

我不明白您实际上需要异步释放内存。