问题标签 [openai-gym]

我是 RL 的新手，我做过的最好的事情是 openAI 健身房中的 CartPole。在 cartPole 中，API 会根据所采取的操作自动提供奖励。当我只有像素数据并且没有可以告诉某个动作的奖励的“魔术函数”时，我应该如何决定奖励。

比如说，我想在 GTA 圣安地列斯制作一个自动驾驶机器人。我可以访问的输入是原始像素。我应该如何计算它所采取的特定行动的奖励？

我一直在研究一些 OpenAI 健身房环境并遇到了这条线：

（https://github.com/openai/gym/blob/master/gym/envs/mujoco/mujoco_env.py#L28）

谁能告诉我 mujoco_py.MjModel() 是在哪里定义的？我认为这是从本地 MuJoCo / Cython 中提取的......

编辑

此外，当我搜索 mujoco_py ( <Python-installation-directory>/Lib/site-packages/mujoco_py/) 的安装文件夹时，实际上没有MjModel找到（Sublime 全文搜索）。（搜索可能会排除一些文件。）我确实发现了很多“mjModel”和“PyMjModel”。

我很困惑，因为通过 mujoco_py.MjModel() 进行的实例化似乎也创建了与使用 mujoco_py.load_model_from_path() 等函数不同的模型。前者有一个.data属性，而后者显然没有。

我使用 Ubuntu 16.04 作为我的开发环境。当我将 OpenAI Universe 和所有前置要求直接安装到 Ubuntu 中时，我能够运行“运行你的第一个代理”脚本 ( https://github.com/openai/universe ) 并获得一个 X 窗口显示游戏.

当我从包含的 Dockerfile ( https://github.com/openai/universe/blob/master/Dockerfile ) 构建包含 Universe 的 docker 映像并使用相同的脚本运行它时，不会出现任何弹出窗口。我可以通过打开网络浏览器并通过 VNC 查看游戏来查看游戏，但这对我来说并不理想。

我目前正在使用以下命令尝试让游戏出现在我的屏幕上，但无济于事：

我一直在使用 Tensorflow 和 OpenAI 健身房进行深度强化学习。我的问题是 GPU 利用率低。谷歌搜索这个问题，我了解到在训练小型网络（例如训练 mnist）时期望大量 GPU 利用率是错误的。但我认为我的神经网络并没有那么小。该架构类似于原始 deepmind 论文中给出的架构（或多或少）。我的网络架构总结如下

1. 卷积层 1 (filters=32, kernel_size=8x8, strides=4)

2. 卷积层 2 (filters=64, kernel_size=8x8, strides=2)

3. 卷积层 3 (filters=64, kernel_size=8x8, strides=1)

4. 密集层（单位=512）

5. 输出层（单位=9）

我正在使用 Tesla P100 16GB gpu 进行培训。我的学习算法是 Simple DQN。（再次，来自 Deepmind 论文）。超参数都在论文中给出。GPU 利用率仍远低于 10%（如 nvidia-smi 所示）。可能的问题是什么？

我正在尝试通过 openai 使用 Universe 创建一个简单的程序，但是每次关闭 VNC 时，python 启动器都不再响应，我必须强制退出它。我能做些什么来解决这个问题？谢谢

我有一些关于机器人学校半猎豹的问题。

1. 我看到 Half-Cheetah 的观察空间是 26。谁能告诉我每个值是什么？-我只数了 18。（另外，一些值似乎在所有时间步长中都保持为 0）

2. 在roboschool/mujoco_assets下的half_cheetah.xml中有如下注释：

   猎豹模型

状态空间按关节在此文件中定义的顺序填充。致动器也作用于关节。

您能否向我确认这里显示的顺序是否与它们在观察矩阵中出现的顺序相同？如果是这样，我应该考虑始终为 0 的值吗？

谢谢你。

我编写了一个简单的 python 代码来模拟“FrozenLake-v0”：

但是我的输出包含一些特殊符号：

为什么这些符号会出现在输出中？
我该如何解决？

编辑：

当我制作环境时，我收到以下警告。我不知道这是否有用：

[33mWARN：gym.spaces.Box 自动检测到 dtype 为类 'numpy.float32'。请提供明确的 dtype。[0m

我尝试了开放 AI 健身房文档中的代码。它可以工作，但在我关闭窗口后会出现错误。我使用的代码如下：

这是错误：

顺便说一句，这是在 python 3.6 中。

我是 Python 的新手，我想使用 AI Gym 用 Python 运行一些强化学习算法： https ://github.com/openai/gym

我想使用 tensorflow，所以我用 Anaconda 制作了一个名为“tensorflow”的 python 3.5 环境并将其安装在那里。在相同的环境中，我安装了 AIgym 使用

点安装健身房

来自 Anaconda 提示。和

康达清单

我可以将“gym”视为安装在该环境中的软件包，但在 Anaconda Navigator 中没有列出（在“tensofrflow”环境或其他任何地方都没有。

无论如何，如果我尝试做

进口健身房

我明白了

没有名为“gym”的模块

我确定我在项目配置中选择了 Anaconda 解释器。我也试过

点安装健身房

从常规的命令行提示符，但它仍然会拒绝找到“健身房”。

一个建议是在系统的 Python PATH 中包含 Anaconda 路径。我不确定如何正确执行此操作。大多数建议是针对 Linux 的，我使用的是 Windows 10。它是 anaconda 文件夹中 python.exe 的路径吗？我见过人们尝试

导出 PATH=C:/path/anaconda:$PATH

但是在任何命令提示符下我都无法识别导出。

哪条蟒蛇

也无法识别以检查正在使用哪个 python。我还尝试将 anaconda 路径添加到系统路径（此 PC > 高级 > 环境变量 > 系统变量 > 路径），但没有骰子。

任何建议，将不胜感激。

--更新1--

托马斯，谢谢你的回答。我已经尝试了您的建议-尝试从 anaconda 提示符/环境中的 python 内联解释器导入健身房，并且成功了！

命令

但是，在 pyCharm 中，即使我确定我为项目选择了 Anaconda 解释器，它也不起作用。

PyCharm

--更新 2-- 我可以看到我的环境和路径，但是你究竟是如何在 pyCharm 中添加环境的？我一直使用的方法是，将项目配置为使用 Anaconda 解释器并从 anaconda 提示符切换环境。搜索给出了相同的答案。

这很奇怪，因为我只在我的 tensorflow 环境中安装了 tensorflow，并且 tensorflow 本身导入没有问题，如您在此处看到的：

因此，张量流环境必须是活跃的。

提前致谢！

我正在使用健身房版本 - '0.9.7'，以及安装在 Mac 上的 mujoco_py 版本 1.50.1.41、Python 3.6.1 |Anaconda 4.4.0。

尝试时：

我收到以下错误：

我曾尝试在网上寻找解决方案，但没有成功。