我已经在 SciIE 数据集上微调了 SciBERT 模型。存储库使用 AllenNLP 来微调模型。训练执行如下:
python -m allennlp.run train $CONFIG_FILE --include-package scibert -s "$@"
成功训练后,我有一个 model.tar.gz 文件作为输出,其中包含 weights.th、config.json 和词汇文件夹。我试图将它加载到 allenlp 预测器中:
from allennlp.predictors.predictor import Predictor
predictor = Predictor.from_path("model.tar.gz")
但我收到以下错误:
配置错误:bert-pretrained 不在 dataset_reader.token_indexers.bert.type 可接受的选择中:['single_id'、'characters'、'elmo_characters'、'spacy'、'pretrained_transformer'、'pretrained_transformer_mismatched']。您应该使用 --include-package 标志来确保加载了正确的模块,或者在配置文件中使用完全限定的类名,例如 {"model": "my_module.models.MyModel"} 让它自动导入.
我从未与 allenNLP 合作过,所以我不知道该怎么做。
作为参考,这是描述令牌索引器的配置的一部分
"token_indexers": {
"bert": {
"type": "bert-pretrained",
"do_lowercase": "false",
"pretrained_model": "/home/tomaz/neo4j/scibert/model/vocab.txt",
"use_starting_offsets": true
}
}
我正在使用 allenlp 版本
名称:allennlp 版本:1.2.1
编辑:
我想我已经取得了很大的进步,我必须使用用于训练模型的相同版本,并且我可以像这样导入模块:
from allennlp.predictors.predictor import Predictor
from scibert.models.bert_crf_tagger import *
from scibert.models.bert_text_classifier import *
from scibert.models.dummy_seq2seq import *
from scibert.dataset_readers.classification_dataset_reader import *
predictor = Predictor.from_path("scibert_ner/model.tar.gz")
dataset_reader="classification_dataset_reader")
predictor.predict(
sentence="Did Uriah honestly think he could beat The Legend of Zelda in under three hours?"
)
现在我得到一个错误:
没有模型类型 bert_crf_tagger 的默认预测器。\n请明确指定预测器
我知道我可以使用predictor_name
来明确指定一个预测器,但我不知道选择哪个名称会起作用