问题标签 [rllib]

我已经为此苦苦挣扎了几天，所以真的需要我能得到的所有帮助！在我使用 TensorFlow 支持的 RLlib 的 PPO 算法进行训练期间，所有训练都进行得很好（奖励正在增加）。系统可获得的最高奖励为 +20。车辆静止不动且不做任何事情可以获得0奖励

突出显示的区域并没有真正学习，因为这发生在看起来像的警告之后

打印了几次，然后是另一个多次打印的警告：

这大约是我的训练集开始超时并且集长度直线上升的时候。

请注意（在顶部）由于超时（而不是完成或达到目标）而结束的平均剧集数如何突然飙升至接近 1M 的训练步骤。剧集的长度（底部）或剧集中的步数也同时上升。

我不确定这是否是由于某种内存问题，因为某些运行也有 RAM 警告以及上面所说的仅剩 10% 的 RAM 内存，这可能会导致错误。我尝试在 ray.init() 上设置某些值但无济于事

• object_store_memory
• _redis_max_memory
• _driver_object_store_memory
• _记忆

我在具有 16 GB RAM、12 个 CPU 内核和 1 个 GPU 以及相关 RLlib（Ray 1.4.0）配置的 Ubuntu 18.04.5 LTS 上运行它：

更新（2021 年 3 月 7 日）

我做了更多的挖掘，似乎生成的连续动作突然变成了nan值。此外，在此之前的某些操作也会超出指定的操作空间范围。示例：动作空间应该在 -7.5 和 +3 之间，但生成的动作可能具有值 50。我仍然不确定为什么会发生这种情况，或者这两个问题是否相关。

有人可以指出我正确的方向吗？我将不胜感激。

更新（2021 年 5 月 7 日）

我已将其移至另一个问题，因为我已将问题的性质缩小到在这里获得nan 连续动作

在使用 RLlib 的（1.4.0）PPO 网络在自定义多代理环境上进行了一些训练后，我发现我的连续动作变成了nan（爆炸？），这可能是由糟糕的梯度更新引起的，而梯度更新又取决于损失/目标函数。

据我了解，PPO 的损失函数依赖于三个术语：

1. PPO 梯度目标[取决于旧策略和新策略的输出、优势和“剪辑”参数 = 0.3，比如说]
2. 价值函数损失
3. 熵损失[主要是为了鼓励探索]

总损失 = PPO 梯度目标（裁剪）- vf_loss_coeff * VF 损失 + entropy_coeff * 熵。

我已将熵系数设置为 0。所以我专注于导致总损失的其他两个函数。如下面的进度表所示，总损失变为inf的相关部分是问题区域。我发现的唯一变化是政策损失在第 #445 行之前都是负数。

所以我的问题是：谁能解释一下保单损失应该是什么样子，这是否正常？一段时间后，如何通过连续动作变为 nan 来解决此问题？只是降低学习率的问题吗？

编辑

这是相关问题的链接（如果您需要更多上下文）

编辑结束

我真的很感激任何提示！谢谢！

我正在尝试存储来自 RLlib 推出操作的观察、动作和奖励元组。似乎推出功能仅在代理与环境交互时跟踪有关代理奖励的信息。有谁知道如何存储所有这些信息？我查看了 rllib 的rollout.py 文件，但看起来实际存储此信息的功能隐藏在 Ray 的分布式计算功能中。

我已经按照文档安装了 rllib（几乎只是运行了一个 pip install 命令），并尝试按照文档运行基本的 cartpole 环境，命令：rllib train --run DQN --env CartPole-v0 我尝试了这两个对于 tensorflow 和 pytorch，但问题仍然存在。政策永远不会收敛。

我有一个从Ray框架调用PolicyClient的函数，然后调用 start_episode。现在我想为这个函数创建单元测试：

任何人都可以帮忙吗？

在 ray rllib 中，我通常会应用 ray.tune.run 进行这样的 ppo 训练：

在下一轮，我通常使用这样的恢复检查点方法重新训练模型：

推断：

这些流程奏效了。问题是（1）：我是否可以在 ray.tune.run 结束时保存整个 pytorch 模型？(2) 下一轮ray.tune.run训练除了checkpoints恢复以外，可以导入pytorch模型吗？(3) 在推理阶段，如何将训练好的整个 pytorch 模型导入 PPO 代理？在恢复代理推理流程中，我一次不能将超过 1o 个模型加载到计算机内存中。大负载显示OOM问题。如果我一个一个地恢复一个模型，检查点恢复过程太耗时，不能满足时效性要求。谁能帮我？

我正在尝试按照本教程来了解RLlib的基础知识。

我在 OS X 上使用 pipenv 使用以下 Pipfile 设置我的环境：

然后我通过运行设置环境：

这安装（除其他外）：

• 蟒蛇 3.8.12
• jupyter 实验室 3.1.13
• 射线 1.6.0
• 火炬 1.9.1
• ipywidgets 7.6.5

有了这个，我可以运行以下单元格：

这个简单的计数器给出了预期的输出。它打印 0，清除并打印 1，清除并打印 2，依此类推。

如果我然后运行以下两个单元格：

他们都运行没有错误。如果我然后重新运行计数器单元，它现在显示：

也就是说，小部件似乎突然停止工作。所有这些行都在不清除屏幕的情况下打印。导致问题的特定行是rllib_trainer = PPOTrainer(config=config). 如果我删除该行，小部件将继续工作。但是......创建像这样的 RL 训练器是本教程的重点。

我不是 Ray/RLlib 的专家。初始化培训师后如何保持小部件正常工作？

我正在尝试遵循本教程 1：https ://github.com/anyscale/academy/blob/main/ray-rllib/02-Introduction-to-RLlib.ipynb 。但是当我在 Google colab 上实现它时，我没有得到任何结果。它仅显示试用未决和已分配内存

运行此实例后，我得到

我在这里有什么问题吗？为什么即使初始化了ray它也没有运行

我想问，一个连续动作空间的策略的神经网络输出是如何组织的？

我知道 PPO 中的输出有均值和标准。开发。给定动作的价值。但是，这是如何组织的？例如，代理有 2 个动作。我们得到：

或者：

我在源代码中搜索了采样器功能。然而，我什么也没找到。

我正在尝试使用 RLlib 设置一个自定义的多代理环境，但是我正在使用曾经在线可用的环境，或者我正在制作一个，我遇到了与下面提到的相同的错误。请帮帮我。我已经安装了他们在步骤 (a) 中向我提出的任何要求我正在使用注册我的环境

还有什么我应该照顾的吗？这只是我看到的示例中的一个基本环境。甚至我正在定制的环境也面临着同样的问题。我已将观察空间初始化为元组，因此我无法使用稳定的基线进行评估。

请帮帮我。