问题标签 [gpt-2]

仍在努力让 GPT-2 教程正常工作。我现在又回到了 Tensor Flow 的问题上。请注意，我正在 Lenovo Thinkpad 上完全全新安装 Windows 10 (x64)。

每当我尝试训练 GPT-2 时都会出现以下错误：

在处理上述异常的过程中，又出现了一个异常：

有什么想法吗？

我希望在一些文本数据上微调 GPT-2 实现。然后我想用这个模型来完成一个文本提示。我可以使用 Max Woolf 的gpt-2-simple实现轻松完成第一部分。Neil Shepherd 的OpenAI分支允许 GPT-2 接受新数据的训练并完成文本。

然而，我的语料库太小了，无法训练并且不会得到胡言乱语。有什么办法可以结合这两个功能吗？理想情况下，我希望能够通过 python 接口（而不是 CLI）来执行此操作，因为我想使用 pandas 进行数据清理和你有什么。谢谢。

我正在开发一个不和谐的机器人，我想要实现的功能之一是用 gpt-2-simple 库生成的文本来响应。我希望加载一个以上的模型，以便有多个模型可用于响应来自我的用户的消息。

但是，当我load_gpt2()在第二个模型中运行该函数时出现以下错误

我试图找到一种方法让 gpt2 实例在模块之间保持分离，但我找不到任何可以实现这种沙盒效果的东西，或者任何其他分离模型或其实例的建议。有没有人有任何想法？

我正在尝试使用 GPT-2-simple 的 colab 设置从保存的检查点继续训练：

https://colab.research.google.com/drive/1SvQne5O_7hSdmPvUXl5UzPeG5A6csvRA#scrollTo=aeXshJM-Cuaf

但我就是不能让它工作。从我的 googledrive 加载保存的检查点工作正常，我可以使用它来生成文本，但我无法从该检查点继续训练。在gpt2.finetune ()我输入restore.from='latest"andoverwrite=True中，我一直在尝试使用相同的 run_name 和不同的 run_name，并且使用overwrite=True，而不是。正如建议的那样，我也尝试在两者之间重新启动运行时，但这没有帮助，我不断收到以下错误：

我假设我需要gpt2.load_gpt2(sess, run_name='myRun')在继续训练之前运行，但是每当我先运行它时，就会gtp2.finetune()抛出这个错误

我有一个特定的生成问题，涉及从非常小的词汇表构建的数据集。理想情况下，如果我可以简单地在一组固定的标记中提供该词汇表，我的用例将更加直接。例如，我知道使用 BertTokenizer，我可以提供一个vocab.txt文件并避免对这个基本词汇进行任何进一步的标记化，我想知道是否有办法让 GPT-2 做同样的事情？我现在唯一能想到的就是创建一个被黑的PretrainedTokenizer子类，但也许有人有更好的主意？

任何想法表示赞赏。

BertTokenizer更新：好的，事实证明我可以BertWordpieceTokenizer在创建GPT2LMHeadModel. （感谢 HuggingFace 提供精心设计的模块化代码库！）

我正在尝试在句子分类任务中使用变换器嵌入，而不对其进行微调。我使用过 BERT 嵌入，这些实验给了我非常好的结果。现在我想使用 GPT-2 嵌入（无需微调）。所以我有两个问题，

1. 我可以使用这样的 GPT-2 嵌入吗（因为我知道 Gpt-2 是从左到右训练的）
2. 除了生成任务之外，在分类任务中是否有 GPT-2 的示例使用？
3. 如果我可以使用 GPT-2embeddings，我应该怎么做？

我正在尝试将 GPT2 架构用于音乐应用程序，因此需要从头开始对其进行训练。经过一番谷歌搜索后，我发现来自拥抱脸的 github 的问题 #1714 已经“解决”了这个问题。当我尝试运行建议的解决方案时：

我收到以下错误：

这是什么意思，我该如何解决？

更一般地说，是否有关于如何使用 GPT2 进行转发呼叫的文档？我可以定义自己的train()函数还是必须使用模型的内置函数？我是被迫使用 aDataset来进行训练还是可以给它单独的张量？我找了它，但在文档上找不到这些的答案，但也许我错过了一些东西。

PS：我已经阅读了来自 huggingface.co 的博文，但它省略了太多信息和细节，对我的应用程序有用。

我目前正在使用run_generation.py带有 gpt-2 的 huggingface 转换器库的示例脚本从左侧上下文生成文本：

我想生成简短的完整句子。有没有办法告诉模型在单词之前完成一个句子length？

注意：我不介意改变模型，但更喜欢自回归模型。

我下载了 git repo ( https://github.com/openai/gpt-2 ) 并按照 python3 说明（在 DEVELOPERS.MD 中）在我的 Kubuntu 18.04LTS 机器上安装，但我无法运行它而是得到一个错误.

这是我到目前为止所做的：

然后我跑了：

最终导致错误：AttributeError: module 'tensorflow' has no attribute 'sort'.

这很奇怪，我不知道如何进行。我原以为这些说明会导致安装成功，但似乎没有。

卸载重装对最终结果没有影响吗？如何让 tensorflow 执行 GPT-II？

我想在我的 BPE 分词器中添加新词。我知道符号 Ġ 表示新标记的结束，并且预训练标记器的词汇中的大多数标记都以 Ġ 开头。假设我想将Salah这个词添加到我的标记器中。我尝试添加Salah令牌和ĠSalah： tokenizer.add_tokens(['Salah', 'ĠSalah']) # 他们分别得到 50265 和 50266 值。但是，当我对出现Salah的句子进行标记时，标记器将永远不会返回第二个数字（使用.tokenizenor时也不会.encode），例如： tokenizer.tokenize('I love Salah and salad')返回['I', 'Ġlove', 'Salah', 'Ġand', 'Ġsalad']。问题是：我应该使用符号Ġ添加新令牌或令牌生成器时会自己做吗？或者，可能必须手动指定？提前致谢！