问题标签 [gpt]

我正在尝试从头开始训练 Huggingface 对 GPT2 模型的实现（这意味着我正在使用他们的架构，但没有使用预训练的权重），但我通过查看此处的代码注意到https://github.com/huggingface/transformers/blob /master/src/transformers/modeling_gpt2.py似乎没有因果掩码的实现。

我可以写一个丑陋for loop的东西并将我的训练序列一次输入一个令牌给网络，这不会是低效的。我还可以逐个标记地切碎我的每个示例，填充它们并像批处理一样喂它，这可能更快，但感觉不太令人满意。

有没有人曾经与拥抱脸的变形金刚合作过？你知道是否有我错过的 casal 掩码的实现，或者我所描述的另一种方法？

PS：是的，我已经阅读了拥抱脸关于从头开始训练的博文，但它大多不完整，并且与训练相关的部分被遗漏了。

我是编码新手，非常感谢你们的帮助。我希望能够包装此文本，但我不确定如何包装。

我正在尝试使用 Ad Manager 投放一些广告。当我生成广告代码并在测试页上运行它时，它不起作用。我直接从 Ad Manager 获取广告代码并按原样实施它们，以进行测试。

这是带有一些模拟测试广告的示例实现；

当它呈现时，它会导致以下结果；

任何帮助将不胜感激。

我正在使用 Google Publisher Tag 在我的游戏中展示广告。我的游戏是一个 web 视图，它位于一个 android 应用程序中。为了实现这一点，我正在加载这个脚本https://securepubads.g.doubleclick.net/tag/js/gpt.js。

我发现上面的脚本在内部也tpc.googlesyndication.com/sodar/sodar2.js用file://协议加载了这个脚本。广告正在显示，但我的游戏因此而崩溃。我尝试搜索导致此问题的原因，但找不到任何解决方案。主要是我对两件事有疑问。

1. 为什么 gpt 在tpc.googlesyndication.com/sodar/sodar2.js内部加载脚本。如果没有必要，我们可以避免这种情况吗？
2. 为什么只有这个脚本使用协议加载，file://我们如何避免这种情况？

我是第一次尝试 Google Publisher Tag，所以如果我在某处有错误，请纠正我。

在 linux 中，fsck gpt 外置硬盘 fsck 无法检查 gpt 分区的外置硬盘。

该怎么办？我无法 fsck 该磁盘的文件系统！如何检查我的文件系统？我做错了什么？

以下是有关我的外置硬盘的一些信息。

GPT3 或其他模型如何从下一个单词预测到进行情感分析、对话、摘要、翻译……？

想法和算法是什么？它是如何工作的 ？

Fe 生成段落是生成下一个单词，然后是下一个 ..next ..

另一方面，情感分析任务是一段文本是好/坏，这是一个分类？从段落中提取有意义的句子是更加不同的任务。

我们如何从下一个令牌转到......！

安德烈感谢您的答复。

看来我的问题还不够清楚。所以让我详细说明。Next-token 预测可以在普通文本语料库上进行训练。

Next Sentiment 可以在 sentence=>marker=>label 上进行训练

它不再是corpus-next-token-generation。它是下一代代币。问题是你需要有 LABALED 数据！

文本总和怎么样......让我们使用关键字提取（最终基于这些关键字选择句子）再次你需要更复杂的标签。

它仍然可以被认为是下一个令牌预测，但您需要再次专门的 LABELED 数据。

所以我的问题只给出了语料库文本，你如何做情感，文本摘要....等？

否则 GPT3 只是用数千个工时来标记数据的扩展 DNN ！

飞跃在哪里？

我下载了一个 python 脚本，它使用 BERT 和 GPT 进行问答，不幸的是，这个脚本需要一个 GPU 来进行预测，使用 GPU 运行时每个问题只需要 1 秒，但是使用 CPU 运行时，每个问答会话需要 3 分钟以上.

这意味着操作需要 AWS p3.xlarge 机器，这些机器的运行成本很高（超过 700 美元/月）。

所以我想知道是否存在一个不是 AllenNLP 的 BIDAF 的问答系统，它可以在较小的 t2.micro AWS 实例上仅使用 CPU 时相对较好地回答问题。

这存在吗？

当前代码使用 Flask。

这是当前版本代码的摘录。我怎样才能提高性能？

我正在尝试将 google colab 用于我的一个项目，但长期以来一直被困在这个错误中。任何帮助将不胜感激。这是我的代码片段：

和错误：

所以我试图在 WSL2 的 TITAN RTX (24G) 上微调中型模型，但它似乎内存不足？小模型适合。如果我在实时 ubuntu 上启动我的计算机，我可以在问题上训练中型和大型模型。

我们都知道 UEFI 启动时，它不会运行 LBA0(MBR) 中的启动代码，它本质上只使用 LBA1 中的数据，即 GPT 标头的起始位置。

我发现清除 LBA0 末尾的 0x55 0xAA 会导致 UEFI 启动失败，但不确定实际上是否有 UEFI 固件制造商不检查 LBA0（MBR）末尾的签名 0x55 0xAA？

UEFI 规范5.3.1 说，LBA0 包含一个保护性 MBR，

这似乎意味着 UEFI 固件必须检查 LBA0，包括 0x55 0xAA 签名。

PS：你可能会问我为什么需要知道这个？我正在考虑使所有磁盘无法启动但可恢复的最简单可靠的方法，但我不想安装wifefs实用程序。似乎清除 LBA0 中的最后一个字节会起作用。