我想使用本文facebook/mbart-large-cc25中引用的一些预训练任务（即令牌掩蔽（又名传销）、文本填充、句子排列......）对我的数据进行微调以生成文本。
在转换器存储库中有一些用于其中一些任务的脚本。
例如，通过运行作为模型run_clm.py传递的脚本facebook/mbart-large-cc25，我得到一个警告，告诉我模型的某些权重不用于初始化MBartForCausalLM。
由于我想微调 mBART 以生成文本，这是一个问题吗？在那次预训练之后，我的计划是将获得的权重加载到MBartForConditionalGeneration我的数据上进行微调，并使用它来生成文本。