问题标签 [gpt-2]

我正在关注本教程并在使用 train.py 时遇到了一个问题。问题说

我在互联网上搜索了很多，结果发现 tensorflow.contrib 已被弃用。那么有没有其他方法可以做到这一点，或者 gpt-2 不能与 python 一起使用？

我也试过

是否可以使用 TensorFlowJS 从 OpenAI GPT-2 生成文本？

如果不是，限制是什么，例如模型格式或...？

我正在尝试在 Node.JS 项目上加载 GPT-2 模型。我相信这可以使用 tfjs 库来完成。所以我尝试将 GPT-2 模型转换为 tfjs 模型。根据对此答案的建议，我将 GPT-2 模型导出为 SavedModel。

然后运行以下代码以导出 SavedModel xx.pb 文件。

然后我运行此命令将 SavedModel 转换为 tfjs 兼容文件。

这会导致错误

它说不StatefulPartitionedCall支持。有没有办法解决这个问题？

我正在关注拥抱脸网站上的文档，在那里他们说要微调 GPT-2，我应该使用脚本 run_lm_finetuning.py进行微调，使用脚本run_generation.py 进行推理。但是，这两个脚本实际上不再存在于 GitHub 上。

有人知道文档是否已过时吗？或者在哪里可以找到这两个脚本？

谢谢

我正在尝试使用 gpt-2 进行文本生成。即使在运行 Tensorflow 2.0代码升级脚本之后，我也会遇到兼容性错误。

我遵循的步骤：

1. 克隆回购

2. 从这里开始，按照 DEVELOPERS.md 中的说明进行操作

3. 对 /src 中的文件运行升级脚本

4. 在终端运行中：sudo docker build --tag gpt-2 -f Dockerfile.gpu .

5. 构建完成后，运行：sudo docker run --runtime=nvidia -it gpt-2 bash

6. 进入python3 src/generate_unconditional_samples.py | tee /tmp/samples

7. 获取此回溯：

看来 HParams 已被弃用，Tensorflow 2.0 中的新版本称为HParam。但是，参数不同。在model.py中，参数实例化如下：

Tensorflow 2.0 似乎没有任何 1:1 的转换。有谁知道如何使 gpt-2 与 Tensorflow 2.0 一起工作？

我的 GPU 是 NVIDIA 20xx。

谢谢你。

我正在使用来自github的 OpenAI GPT-2 模型

我认为 top_k 参数决定了采样的令牌数量。这也是指示可以给出多大提示的参数吗？

如果top_k = 40，提示可以有多大？

我正在尝试编写一个程序，给定一个句子列表，返回最可能的一个。我想使用 GPT-2，但我对使用它很陌生（因为我真的不知道该怎么做）。我计划在给定先前单词的情况下找到单词的概率，并将所有概率相乘以获得该句子出现的总体概率，但是我不知道如何在给定先前单词的情况下找到单词出现的概率. 这是我的（伪）代码：

请问我可以帮忙吗？

Every time I run GPT-2, I am receiving this message. Is there a way I can get this to go away?

我正在运行 run_clm.py 以微调 gpt-2 形式的拥抱脸库，遵循 language_modeling 示例：

这是输出，进程似乎已启动，但^C似乎停止了进程：

这是我的环境信息：

• 变形金刚版本：3.4.0
• 平台：Linux-4.19.112+-x86_64-with-Ubuntu-18.04-bionic
• Python版本：3.6.9
• 张量流版本：1.14
• 在脚本中使用 GPU？：是

提前停止的可能触发因素是什么？

我想从语料库中生成主题和子主题。如果有人可以分享python代码，那就太好了。