问题标签 [roberta-language-model]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
bert-language-model - 如何在 AllenNLP 中将基于 AllenNLP BERT 的语义角色标签更改为 RoBERTa
目前我可以使用下面的配置文件训练语义角色标签模型。此配置文件基于AllenNLP 提供的配置文件，适用于默认bert-base-uncased模型，也适用于GroNLP/bert-base-dutch-cased.
由于 SRL 数据读取器仅支持 BertTokenizer而不支持 RobertaTokenizer，因此将的值bert_model_name和bert_model参数从交换GroNLP/bert-base-dutch-cased到开箱即用是行不通的。所以我将配置文件更改为以下内容：roberta-base
但是，这仍然不起作用。我收到以下错误：
我不完全理解出了什么问题，也找不到任何有关如何更改配置文件以加载“自定义”BERT/RoBERTa 模型（此处未提及的模型）的文档。我正在运行默认allennlp train config.jsonnet命令来开始训练。allennlp train config.jsonnet --dry-run但是不会产生错误。
提前致谢！蒂斯
编辑： 我现在已经换掉并继承了自定义“srl_roberta”类的“srl_bert”，以使用RobertaModel。然而，这仍然会产生相同的错误。
EDIT2：我现在正在使用 Dirk Groeneveld 建议的 AutoTokenizer。更改 SrlReader 类以支持基于 RoBERTa 的模型似乎涉及更多更改，例如将 BERT 的 wordpiece 标记器交换为 RoBERTa 的 BPE 标记器。有没有一种简单的方法来适应 SrlReader 类，还是从头开始编写一个新的 RobertaSrlReader 更好？
我继承了 SrlReader 类并将这一行更改为以下内容：
由于 RoBERTa 标记化与 BERT 不同，它会产生以下错误：
python - 尝试创建罗伯塔分类模型时出错
我正在尝试“微调”一个预先训练的 Roberta 模型关闭拥抱面，但我一直遇到错误，当前错误是在创建模型时。最小可重现示例：
我明白了
导入时还有一个可能相关的警告：
我只需要正确地创建没有错误的模型，无论是使用当前函数还是修改后的函数，这样我就可以使用我的数据集对其进行训练。