问题标签 [bert-language-model]

我有基于 BERT 的模型检查点，这些检查点是在 Tensorflow 中从头开始训练的。如何使用这些检查点来预测给定句子中的掩码单词？

比如，假设句子是“[CLS] abc pqr [MASK] xyz [SEP]”，我想预测 [MASK] 位置的单词。

我该怎么做？我在网上搜索了很多，但每个人都在使用 BERT 来完成特定于任务的分类任务。不使用 BERT 来预测掩码词。

请帮助我解决这个预测问题。

我使用官方 BERT 存储库（https://github.com/google-research/bert）create_pretraining_data.py从头开始使用和训练模型创建数据run_pretraining.py

我在官方 bert repo 中搜索了问题。但没有找到任何解决方案。

还查看了该仓库中的代码。他们正在使用他们正在训练的 Estimator，而不是使用检查点权重。

没有找到任何方法来使用基于 BERT 模型（从头开始训练）的 Tensorflow 检查点来预测单词掩码标记（即 [MASK]）。

我同时使用BERT_base_cased和BERT_large_Cased模型进行多类文本分类。使用 BERT_base_cased，我得到了令人满意的结果。当我尝试使用 BERT_large_cased 模型时，所有时期的准确度都是相同的

有了BERT_base_cased，就不存在这样的问题了。但是BERT_large_cased，为什么所有时期的准确性都相同？非常感谢任何帮助......

bioBERT正在抛出下面提到的错误：

但我可以使用以下语句运行其他 BERT 版本uncased_L-12_H-768_A-12和BERT：sciBERT

科学伯特

但同样的声明不适用于bioBERT：

生物BERT

错误：

关于如何使用 Transformers 的 Tensorflow 实现进行文本分类，我有两个问题。

• 首先，似乎人们大多只使用编码器层来完成文本分类任务。然而，编码器层为每个输入单词生成一个预测。根据我对转换器的理解，每次输入到编码器的都是输入句子中的一个单词。然后，使用当前输入词计算注意力权重和输出。我们可以对输入句子中的所有单词重复这个过程。结果，我们最终会得到输入句子中每个单词的成对（注意力权重，输出）。那是对的吗？那么你将如何使用这些对来执行文本分类呢？
• 其次，基于这里Transformer 的 Tensorflow 实现，他们将整个输入句子嵌入到一个向量中，并将这些向量中的一批输入到 Transformer 中。但是，根据我从The Illustrated Transformer中学到的知识，我希望输入是一批单词而不是句子

谢谢！

使用 PyTorch 转换器训练 BERT 模型（按照此处的教程进行操作）。

教程中的以下声明

导致

这是完整的错误，

我似乎无法弄清楚 forward() 函数期望什么样的参数。

这里有一个类似的问题，但我仍然不明白解决方案是什么。

系统信息：

• 操作系统：Ubuntu 16.04 LTS
• Python版本：3.6.x
• 火炬版本：1.3.0
• 火炬视觉版本：0.4.1
• PyTorch 转换器版本：1.2.0

我通过克隆 BERT 存储库、下载“BERT-Base, Uncased”预训练模型并运行extract_features.py生成了一个我非常满意的特征向量，如下所示：

注意--layers=-2arg，它指定我想要倒数第二层的特征。

我现在正在尝试使用这个 TensorFlow Hub 模型重现相同的功能，我相信它是相同的模型。我使用TF Hub GitHub 上建议的这个 hack来访问所需的层，因为只暴露了输出层。我得到的特征向量非常接近，但并不完全相同（各个浮点数彼此相差约 1%）。我已经确认我的输入标记在这两种情况下都是相同的。希望对 BERT 配置和内部有更多了解的人可以发现我忽略的一些明显的东西，或者提出一种继续调试的方法？我很茫然，因为界面非常不同。

我在这里的要求是给定一个句子（序列），我想只提取序列中存在的实体，而不将它们分类到 NER 任务中的类型。我看到 NER 的 BertForTokenClassification 进行了分类。这可以仅适用于提取吗？

BERT 可以仅用于进行实体提取/识别吗？

我在将 Bert 嵌入层集成到 BiLSTM 模型中以进行词义消歧任务时遇到问题，

整个剧本

该层BertEmbeddingLayer()是从strongio/keras-bert导入的，并按照文件中的方法来集成我的工作但是我总是有这个错误，请检查下面的回溯（构建模型时引发异常）

请参阅我在他们的 repo 上的问题，有关提供给模型的数据示例，请查看此问题

我们知道 BERT 的最大长度限制为 tokens = 512，那么如果一篇文章的长度远大于 512，比如 text 中有 10000 个 token，那么如何使用 BERT？

我想使用 BERT 将我的文档转换为向量，每个文档一个向量。可能吗？如何使用标准或流行的库对其进行编程？