python - Talos 多 GPU 功能

Question

我正在尝试为我的 CNN 运行 Talos 超参数搜索。拥有 6 个 GPU 可以更快地运行实验，Talos 功能 multi_gpu 似乎很方便。

my_new_model = multi_gpu(my_new_model, gpus=6)
my_new_model.compile(...)

需要在 model.compile 之前调用该函数。

但似乎仍然只有一项工作同时执行。我希望，应该同时处理一个有 6 条可能路径的实验。现在它还在一个接一个地工作。

有任何想法吗？

Answer 1

multi_gpu用于在单台机器上的多个 GPU 上运行单个任务。

根据您在数据集、架构、参数等方面所做的工作，这可以显着减少实验时间。即使排列仍然“一个接一个”地执行，每个排列的执行时间更短。