ray - 如何在 2 个 GPU 上运行 Flow 训练？

Question

从 Wouter J 转发。

如何在 GPU 上运行流训练？

我目前正在尝试让ppo_runner基准测试与我的 2 个 GPU 一起工作。但是，我找不到任何方法来利用这些资源。我需要对代码进行哪些更改才能使用 GPU？

Answer 1

来自 Flow 团队的转贴

也许一个好的起点是通过 Ray 学习如何使用多个 GPU：

https://ray.readthedocs.io/en/latest/using-ray-with-gpus.html

学习如何将多个 GPU 与 ray 一起使用将使您也能够使用多个 GPU 进行训练，因为我们使用 Ray RLlib 进行训练。尽管是一个公平的警告：除非您的问题非常适合 GPU（大图像输入、大型神经网络），否则通常在多线程 CPU（例如 64 线程 Xeon）上训练比在多个 GPU 上训练要快得多。