ray - Ray rllib 自定义训练流程

Question

我想细化算法的步骤：默认情况下，动作选择为：

a = argmax Q(f(s), a; teta)

然后计算从旧状态到新状态的转换。然后将旧状态、动作、奖励和新状态存储在缓冲区中。

我想更改 get 操作函数并使其看起来像这样：

while not condition:
    action = policy.compute_action(obs)
    new_obs, rew, done, info = env.step(action)
    
    if condition:
        break
    obs = new_obs

replay_buffer.add(obs, action, rew, new_obs, done)
obs = new_obs

我该如何定制这个？