python - 使用 HuggingFace 在训练前任务上微调 mBART

Question

我想facebook/mbart-large-cc25使用预训练任务对我的数据进行微调，特别是掩蔽语言建模 (MLM)。

我怎样才能在 HuggingFace 中做到这一点？

编辑：为了清楚起见重写了问题

Answer 1

由于您在 HuggingFace 中进行所有操作，因此在预训练任务上微调模型（假设 Huggingface 中提供了预训练任务）对于大多数模型来说几乎相同。您对微调 mBART 感兴趣的任务是什么？

Hugginface 为几个微调任务提供了大量文档。例如，下面提供的链接将帮助您微调用于语言建模、MNLI、SQuAD 等的 HF 模型。 https://huggingface.co/transformers/v2.0.0/examples.html和https://huggingface.co/transformers/培训.html