问题标签 [openai]

当我试图弄清楚植绒环境的重置条件（来自gym-flock）时，我想出了这个问题：'return False'可以以某种方式返回True吗？

核心代码是：

1：https://github.com/katetolstaya/multiagent_gnn_policies#available-algorithms 中的 test_model.py

2：健身房环境代码：https://github.com/katetolstaya/gym-flock/tree/stable/gym_flock/envs/flocking中的 flocking_relative.py

对于 test_model.py 中的 while 循环来中断和重置 env，done 在某些时候应该是 True。但是，env.step(code part 2) 中的代码总是返回 False 来代替 done。

当 env.step 总是返回 False 时，这个循环如何中断？我已经测试并确认此代码工作正常，但很难理解如何。

请在RL和健身房有经验的人帮助我提前非常感谢

有没有办法在谷歌 colab 上从 OpenAI 运行 Glow？我需要使用预训练模型对我的图像进行编码。

我尝试了以下解决方案：

1.

我从存储库运行脚本。

该脚本安装 pip 包，下载预训练的模型权重、操作向量和用于对齐输入面部的面部标志检测器。

然后我尝试运行 model.py 并收到以下错误：

2021-06-06 10:22:49.965476：我 tensorflow/stream_executor/platform/default/dso_loader.cc:53] 成功打开动态库 libcudart.so.11.0 Traceback（最近一次调用最后）：文件“/content/drive/ MyDrive/BeautyGlowOfficial/glow/demo/model.py”，第 30 行，在 import blocksparse 文件中“/usr/local/lib/python3.7/dist-packages/blocksparse/init .py ”，第 6 行，在 bs_module = load_op_library (os.path.join(get_data_files_path(), 'blocksparse_ops.so')) 文件“/usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/load_library.py”，第 58 行，在load_op_library lib_handle = py_tf.TF_LoadLibrary(library_filename) tensorflow.python.framework.errors_impl.NotFoundError: libtensorflow_framework.so: 无法打开共享对象文件：没有这样的文件或目录

2. 文件 requirements.txt 说所需的 tensorflow 版本是 1.8.0。但我无法在 google colab 上安装它：

错误：找不到满足要求 tensorflow-gpu==1.8.0 的版本（来自版本：1.13.1、1.13.2、1.14.0、1.15.0rc0、1.15.0rc1、1.15.0rc2、1.15.0rc3 , 1.15.0, 1.15.2, 1.15.3, 1.15.4, 1.15.5, 2.0.0a0, 2.0.0b0, 2.0.0b1, 2.0.0rc0, 2.0.0rc1, 2.0.0rc2, 2.0.0, 2.0 .1、2.0.2、2.0.3、2.0.4、2.1.0rc0、2.1.0rc1、2.1.0rc2、2.1.0、2.1.1、2.1.2、2.1.3、2.2.0rc0、2.2.0rc1 , 2.2.0rc2, 2.2.0rc3, 2.2.0rc4, 2.2.0, 2.2.1, 2.2.2, 2.3.0rc0, 2.3.0rc1, 2.3.0rc2, 2.3.0, 2.3.1, 2.3.2, 2.4 .0rc0、2.4.0rc1、2.4.0rc2、2.4.0rc3、2.4.0rc4、2.4.0、2.4.1、2.5.0rc0、2.5.0rc1、2.5.0rc2、2.5.0rc3、2.5.0) 错误：否找到 tensorflow-gpu==1.8.0 的匹配分布

3. 出于这个原因，我尝试运行 tensorflow 1.x。

选择了 TensorFlow 1.x。

1.15.2

然后我尝试运行model.py。

我再次收到以下错误。

回溯（最后一次调用）：文件“/content/drive/MyDrive/BeautyGlowOfficial/glow/demo/model.py”，第 30 行，在 import blocksparse 文件“/usr/local/lib/python3.7/dist-packages /blocksparse/ init .py”，第 6 行，在 bs_module = load_op_library(os.path.join(get_data_files_path(), 'blocksparse_ops.so')) 文件“/tensorflow-1.15.2/python3.7/tensorflow_core/python/ framework/load_library.py”，第 61 行，在 load_op_library lib_handle = py_tf.TF_LoadLibrary(library_filename) tensorflow.python.framework.errors_impl.NotFoundError: libtensorflow_framework.so: 无法打开共享对象文件：没有这样的文件或目录

4. 我尝试安装 tensorflow 1.13.1。然后我收到以下错误：

/usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/dtypes.py:526：FutureWarning：不推荐将（type，1）或'1type'作为类型的同义词传递；在 numpy 的未来版本中，它将被理解为 (type, (1,)) / '(1,)type'。_np_qint8 = np.dtype([("qint8", np.int8, 1)]) /usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/dtypes.py:527: FutureWarning: Passing (type, 1) 或 '1type' 作为 type 的同义词已被弃用；在 numpy 的未来版本中，它将被理解为 (type, (1,)) / '(1,)type'。_np_quint8 = np.dtype([("quint8", np.uint8, 1)]) /usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/dtypes.py:528: FutureWarning: Passing (type, 1) 或 '1type' 作为 type 的同义词已被弃用；在 numpy 的未来版本中，它将被理解为 (type, (1,)) / '(1,)type'。_np_qint16 = np.dtype([("qint16", np.int16, 1)]) /usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/dtypes.py:529: FutureWarning: Passing (type, 1) 或 '1type' 作为 type 的同义词已被弃用；在 numpy 的未来版本中，它将被理解为 (type, (1,)) / '(1,)type'。_np_quint16 = np.dtype([("quint16", np.uint16, 1)]) /usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/dtypes.py:530: FutureWarning: Passing (type, 1) 或 '1type' 作为 type 的同义词已被弃用；在 numpy 的未来版本中，它将被理解为 (type, (1,)) / '(1,)type'。_np_qint32 = np.dtype([("qint32", np.int32, 1)]) /usr/local/lib/python3.7/dist-packages/tensorflow/python/framework/dtypes.py:535: FutureWarning: 不推荐将 (type, 1) 或 '1type' 作为 type 的同义词传递；在 numpy 的未来版本中，它将被理解为 (type, (1,)) / '(1,)type'。np_resource = np.dtype([("resource", np.ubyte, 1)]) Traceback（最近一次调用最后一次）：文件“/content/drive/MyDrive/BeautyGlowOfficial/glow/demo/model.py”，第 30 行, 在导入 blocksparse 文件“/usr/local/lib/python3.7/dist-packages/blocksparse/init .py”，第 6 行，在 bs_module = load_op_library(os.path.join(get_data_files_path(), 'blocksparse_ops.so')) 文件“/usr/local/lib/python3.7/dist-packages/tensorflow/python /framework/load_library.py"，第 61 行，在 load_op_library lib_handle = py_tf.TF_LoadLibrary(library_filename) tensorflow.python.framework.errors_impl.NotFoundError：libcudart.so.9.0：无法打开共享对象文件：没有这样的文件或目录

5. 我也试过这个笔记本：GLOW

但这也没有用。

将 Open Ai 的 CLIP 与 BigGAN、VQGAN 等一起使用，除了以下图像数据库：

ImageNet 1024、ImageNet 16384、COCO、S-FLCKR、WikiArt、FacesHQ

那可以用吗？如果是这样，其他人呢？

我正在编写一个基于 GPT-2 的 webapp，但它并不好，所以我决定改用官方的 OpenAI GPT-3。所以我提出这个要求：

当我打印响应时，我得到了这个：

但是我只想打印文本，那么我该怎么做才能打印响应列表中的“文本”值。提前谢谢你，祝你有美好的一天。

我正在尝试创建一个以最佳方式丢弃卡片的 rl 代理

我按照一些指南创建了这个环境，代理可以在 31 种动作之间进行选择，因为如果你有 5 张牌并且必须始终丢弃至少一张牌，那么这就是所有不同的弃牌可能性

并像这样构建模型

训练成这样

然后我尝试让模型在给出 5 张卡片时选择一个动作

但我只得到 26 的值？我应该得到 1-32 的范围

我尝试阅读文档，但没有找到太多帮助

我正在尝试将 q-learning 应用于代表储能套利的自定义强化学习环境（用电池进行电力交易，价格低时充电，价格上涨时放电）。环境有效，但我无法对其应用 q-learning。环境下方是一个能够运行环境的脚本，但我不确定我应该将状态变量设为什么。关于如何应用 q-learning 来优化充电/放电循环的任何想法？重置功能从具有每小时电价的数据集开始第二天。数据框的图片如下。

类 BatteryEnv(gym.Env):

以下代码能够表明环境正在运行。

所以，我正在制作一个自动 mod discord 机器人，它可以找到坏词的替代拼写。我尝试使用正则表达式来查找它们，但发现了很多误报。所以我考虑使用openai的gpt-3来做到这一点，因为我看到有人使用它来寻找替代拼写的屏幕截图。

截图：

不幸的是，我不知道他们究竟是如何让 gpt-3 做到这一点的，以及如何在像不和谐机器人这样的应用程序中使用这样的东西。

有人可以告诉我如何使用 gpt-3 查找单词的替代拼写吗？

任何帮助，将不胜感激！谢谢你！

长话短说：我收到了一些用于自定义 openAI 健身房环境的 Python 代码。我可以从命令行通过 ExperimentGrid 成功运行代码，但希望能够从 Jupyter 笔记本中运行整个实验，而不是调用脚本。这对于我将在更远的地方进行的一些实验来说会更方便。

我的问题：是否可以完全从 Jupyter Notebook 中在自定义OpenAI 健身房环境中执行实验，如果可以，如何？我已经看到很多人从 Jupyter 执行健身房的标准环境（如 SpaceInvaders-v0 或 CartPole-v0）的例子，但即便如此，他们还是用

并且基本上在幕后执行该环境的脚本。

下面是我的代码如何设置为从命令行运行以及我在 Jupyter 中遇到的错误的基本描述。

任何意见，将不胜感激。诚然，我对 Gym、Python 和 Linux 相当陌生。

我的基本环境代码在 envs/mygames/Custom_Env.py 中的结构如下：

在 mygames/__ init__.py 中，我导入了 Shell_Class：

在 envs/__ init__.py 中，我已经注册了环境

最后，如果我从命令行执行包含此代码的脚本，则实验可以正常工作：

我的 Jupyter 尝试

我将 Custom_env.py 中的所有代码放在单元格 #1 中。然后我在 #2 单元格中注册了环境：

基于此 Q/A：注册在 jupyter 笔记本单元内定义的健身房环境 ，我在单元 #3 中创建环境：

并得到这个非描述性的输出：

<TimeLimit<Shell_Class< TEST-v1 >>>

在单元格 #4 中，我尝试直接在 Jupyter 中执行 ExperimentGrid 代码，如下所示：

实验照常启动，但随后遇到某种错误：

我正在尝试使用 OpenAI 测试版，但似乎无法获得结果。我正在通过 NPM 包 ( https://www.npmjs.com/package/openai-api ) 访问 API。我有那个设置并且工作，但是当我发出请求时，我得到的响应缺少响应对象中的任何内容。

这是我的代码

生成的对象如下所示：

有什么想法吗？

这篇博客介绍了 OpenAI 的名为 Triton 的新 python 扩展，解释了为什么 Triton 可以比 pytorch 更快地进行矩阵数学运算（参考一个示例，说明如何使用 Triton 沿着 m × n 矩阵的行计算 Softmax）

重要的是，softmax 的这种特殊实现在整个规范化过程中将 X 的行保留在 SRAM 中，这在适用时最大化了数据重用（~<32K 列）。这与 PyTorch 的内部 CUDA 代码不同，后者使用临时内存使其更通用但速度明显较慢（如下）。这里的底线不是 Triton 天生就更好，而是它简化了专用内核的开发，比通用库中的内核要快得多。

1. pytorch如何为设备张量分配内存，这里所说的“临时内存”是什么？为什么使用这种临时内存更普遍，但比使用 SRAM 慢？
2. 这里的SRAM是指高速缓存吗？如果是这样，这个库如何/为什么比 pytorch 内部更好地利用缓存？我的理解是，关于缓存哪些数据的决定主要取决于硬件而不是软件。