0

我想对科学文章进行命名实体识别。

tokenizer = AutoTokenizer.from_pretrained('allenai/scibert_scivocab_cased')
model=TFBertForTokenClassification.from_pretrained("allenai/scibert_scivocab_uncased",from_pt=True,config=config)

但它给出了以下警告。

初始化 TF 2.0 模型时未使用 PyTorch 模型的某些权重 TFBertForTokenClassification: ['classifier.weight', 'classifier.bias'] - 如果您从在另一个任务上训练的 TF 2.0 模型初始化 TFBertForTokenClassification 或使用另一种架构(例如,从 TFBertForPretraining 模型初始化 BertForSequenceClassification 模型)。- 如果您从预期完全相同的 TF 2.0 模型初始化 TFBertForTokenClassification(从 TFBertForSequenceClassification 模型初始化 BertForSequenceClassification 模型),则不会出现这种情况。PyTorch 模型 TFBertForTokenClassification 的一些权重或缓冲区不是从 TF 2.0 模型初始化的,而是新初始化的:['cls.predictions.transform.dense.weight', 'cls.predictions.

当我尝试拟合模型时,它会发出以下警告。

警告:tensorflow:当最小化损失时,变量 ['tf_bert_for_token_classification/bert/pooler/dense/kernel:0', 'tf_bert_for_token_classification/bert/pooler/dense/bias:0'] 不存在梯度。

有谁知道它为什么会发出这些警告?

4

0 回答 0