cuda - nvidia-smi 是如何工作的？

Question

允许 nvidia-smi 获取硬件级别详细信息的内部操作是什么？即使某些进程已经在 GPU 设备上运行，该工具也会执行，并获取使用详细信息、进程的名称和 ID 等。是否可以在用户级别开发这样的工具？NVML 是如何相关的？

Answer 1

Nvidia-smi 是NVML的薄包装器。您可以借助包含的 SDK 使用 NVML 进行编码您可以借助Tesla Deployment Kit。

使用 nvidia-smi 可以完成的所有操作都可以直接从 C 库 NVML 中查询。如果您需要在某种应用程序中查询这些数据，最好（并且可能更容易）针对 NVML 编写而不是解析 nvidia-smi stdout（过去的格式已更改）。

NVML 库也有python和perl绑定。因此，您可以使用比 C 更高级别的编程语言。