ray - 如何使用每个工作人员一个环境并行执行环境？

Question

我们构建了一个由 Docker 容器组成的系统，每个容器都运行 Ray。一个容器充当头，其他容器充当工人。有没有一种方法可以并行运行我们自定义 env 的步骤，而每个容器每个工作人员一个 env 正在运行？Rays 文档 ( https://ray.readthedocs.io/en/latest/rllib-env.html?highlight=remote_worker_envs#vectorized ) 中提到的方法对我们没有用，因为我们希望每个工作人员都有一个环境。

Answer 1

每个工作人员一个环境是默认设置。您可以通过增加 来增加工人的数量num_workers。

还有一个remote_worker_envs设置，它将在不同的参与者中运行环境，但在一个参与者中运行策略网络以进行推理。但是，这比仅仅增加具有更高的通信开销num_workers，因此不推荐。