我有一个 pytorch 任务，它与 DP 一起使用：
将同一个网络复制到多个共享相同权重的 GPU 上，但每个副本接收不同的数据批次，因此它通过增加等效批次大小来加快训练速度。
但现在我希望在训练流程中引入多个不同的网络：net_A、net_B、net_C，它们属于不同的架构，不共享权重。
是否可以将每个网络分配给不同的节点（1个节点有4个GPU），这样“net_A”仍然可以在“node_A”的4个GPU上享受DP的加速，而“net_B”占用“node_B”等?
我有一个 pytorch 任务，它与 DP 一起使用：
将同一个网络复制到多个共享相同权重的 GPU 上，但每个副本接收不同的数据批次，因此它通过增加等效批次大小来加快训练速度。
但现在我希望在训练流程中引入多个不同的网络：net_A、net_B、net_C，它们属于不同的架构，不共享权重。
是否可以将每个网络分配给不同的节点（1个节点有4个GPU），这样“net_A”仍然可以在“node_A”的4个GPU上享受DP的加速，而“net_B”占用“node_B”等?