huggingface-transformers - 如何用拥抱脸从头开始训练一个伯特模型？

Question

我在这个问题中找到了从头开始训练模型的答案： 如何在 MLM 和 NSP 的新域上从头开始训练 BERT？

一个答案像这样使用 Trainer 和 TrainingArguments：

from transformers import Trainer, TrainingArguments
training_args = TrainingArguments(
    output_dir= "/path/to/output/dir/for/training/arguments"
    overwrite_output_dir=True,
    num_train_epochs=2,
    per_gpu_train_batch_size= 16,
    save_steps=10_000,
    save_total_limit=2,
    prediction_loss_only=True,
)

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset,
)

trainer.train()
trainer.save_model("path/to/your/model")

但是 huggingface 官方文档Fine-tuning a pretrained model 也使用 Trainer 和 TrainingArguments 以同样的方式进行微调。所以当我使用 Trainer 和 TrainingArguments 训练模型时，我是从头开始训练模型还是只是微调？