python - Ray RLlib：为什么 DQN 训练中的学习吞吐量会下降？

Question

随着 Dueling DDQN 代理的训练，学习吞吐量下降和学习时间增加是否正常？

经过几个小时的培训，学习时间增加了 7 倍，这是非常显着的，这是您期望看到的吗？我的系统只使用了 8 核 CPU 的 20% 和 64 GB 内存中的 25 GB。

目前正在 CPU 上训练一个 ray.rllib.agents.dqn 模型。配置都是默认的，除了

config['timesteps_per_iteration'] = 5000
config['noisy'] = True
config['compress_observations'] = True
config["num_workers"] = 4
config["num_envs_per_worker"] = 8
config["eager"] = True 

经过进一步的训练，学习吞吐量骤降到 20。CPU 使用率保持在 20% 左右，内存使用率保持在 50 GB。

在 WSL2 中使用 Ray 0.8.5、TensorFlow 2.2.0、Python 3.8.3、Ubuntu 18.04