我正在尝试在 Tensorflow-keras 上微调预训练的 XLM-RoBERTa。我正在使用英文数据集进行文本分类。我使用xlm-roberta-base tokenizer 来标记句子。我正在使用来自 TFRobertaForSequenceClassification的 roberta-base模型。请在下面找到代码。
optimizer=tf.keras.optimizers.SGD(learning_rate=5e-2)
model.compile(optimizer = optimizer, loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics = [tf.keras.metrics.SparseCategoricalAccuracy()])
model.fit(train_tf_dataset, validation_data=eval_tf_dataset, epochs=1, verbose=1)
我正在使用 google colab GPU 进行微调。Tensoflow 版本是 2.7.0。我在训练模型时遇到错误。谁能帮我解决这个错误？
InvalidArgumentError: indices[2,268] = 124030 is not in [0, 50265) [[node tf_roberta_for_sequence_classification_1/roberta/embeddings/Gather（定义在 /usr/local/lib/python3.7/dist-packages/transformers/models/roberta/ modelling_tf_roberta.py:149) ]] [Op:__inference_train_function_82886]
错误可能源于输入操作。连接到节点 tf_roberta_for_sequence_classification_1/roberta/embeddings/Gather 的输入源操作：In[0] tf_roberta_for_sequence_classification_1/roberta/embeddings/Gather/resource：
In[1] IteratorGetNext（定义在 /usr/local/lib/python3.7/dist-packages /keras/engine/training.py:866)