问题标签 [ray]

我只有一个 gpu，我想在那个 gpu 上运行很多演员。以下是我使用的内容ray，遵循https://ray.readthedocs.io/en/latest/actors.html

1. 首先在gpu上定义网络

2. 然后定义工人阶级

3. 定义学习者类

4. 训练功能

当我不尝试使其在 gpu 上运行时，此过程运行良好。也就是说，当我删除所有with tf.device('/gpu:0')和(num_gpus=1). 当我保留它们时，问题就出现了：似乎只有learner被创建，但没有一个workers被构造。我应该怎么做才能让它工作？

我想知道 - 有没有一种简单的方法可以在退出之前等待所有任务完成运行而不跟踪所有ObjectIDs （和get()他们）？用例是当我启动@remotes 以保存输出时，例如，不需要返回结果。如果我必须存储这些期货，这只是额外的东西。

RISE 实验室的 Ray 库 ( https://rise.cs.berkeley.edu/blog/pandas-on-ray/ )

我正在使用 64 位 Windows 10 Pro 并从 Anaconda 提示符运行这些脚本。

我都试过了

和

结果相同

找到解决方法或对此进行故障排除会很棒。谢谢

我正在使用来自 Ray/RLLib 的 DQN 代理。为了更深入地了解训练过程的进展情况，我想访问 Adam-Optimizer 的内部状态，例如可视化梯度的运行平均值如何随时间变化。请参阅下面的最小代码片段以进行说明。

但是，我无法访问 Adam 优化器。由于它是使用代理策略图的“优化器”函数构建的，然后存储在 _optimizer 成员变量中（根据 TFPolicy_Graph 构造函数），我的直觉是通过

. 从 dqn 代理策略图中：

从 TFPolicyGraph 构造函数：

这只是给了我：

Docs建议使用，但是我在其中agent.local_evaluator找不到 Adams 状态。

可能这只是我对 Rays 架构的误解。那么，任何人都可以帮助我吗？

谢谢你，祝你有美好的一天！

我正在尝试在光线集群上运行 rllib 算法。我收到以下消息，“此节点上的内存使用情况：20.8/64.4 GB”

我该如何让它充分利用内存？如何交叉检查 GPU 或 CPU 利用率是否在 90% 以上？

请帮助....

我正在使用 Ray/RLLib 的 APEX-DQN 代理 (AsyncReplayOptimizer)。

我想使用 info["episode"].user_data回调中on_episode_end(info)的一些剧集数据来更改.info["result"]on_train_result(info)

有没有办法做到这一点？由于两个回调的对象info输出非常不同。

on_episode_end(info)：给出“env”和“episode”
on_train_result(info)：给出“agent”和“result”

并且“结果”on_train_result(info)并没有提供关于所运行剧集的太多信息。

我觉得“结果”只提供类似的信息很奇怪

没有任何关于剧集ID的信息。如果有剧集 ID，也许我可以尝试将两个回调链接在一起。

我已经使用 Ray 集群在 Carla 环境中训练了一个算法。我想做推理。我可以知道我该怎么做，请帮忙。

我想设置一个 Ray 集群以在 AWS 上使用 Rtune over 4 gpus。但是每个 gpu 都属于我们团队的不同成员。我已经搜索了可用资源以寻求答案，但一无所获。帮助 ？

我想试试这个命令：

但是rllib是找不到的，我可以直接在 rllib 源代码中执行 train.py 来做到这一点，但是用命令运行肯定更优雅。有人可以告诉我有什么问题吗？

这是我安装 ray 的命令：

我尝试在有/没有虚拟环境的情况下安装它，都失败了。

我有两个关于Ray Tune的问题。首先，我如何定义一个独立于特定SearchAlgorithm使用的超参数搜索空间。例如，HyperOpt 使用类似的东西，'height': hp.uniform('height', -100, 100)而 BayesOpt 使用类似的东西'width': (0, 20)；是否有一些通用接口或 API？

其次，我希望能够使用shape参数定义超参数搜索空间，类似于定义 numpy 数组。我想要类似的东西'heights': hp.uniform('height', -100, 100, shape=(10,))。有没有办法做到这一点？