我的论文答辩将于下周进行,我想请您对我目前面临的一个问题发表看法。我的论文贡献之一是“让 RoBERTa 适应 Twitter 上的谣言检测任务”
我想向陪审团解释 RoBERTa 如何根据我对其进行微调的数据集来调整其权重。
简单来说,我为 RoBERTa 提供了各种数据集,这些数据集描述了“Twitter 上的谣言检测”任务,同时改变了数据集中的类分布,以了解它如何影响 RoBERTa 产生的嵌入。我通过将嵌入的质量提供给一组分类器(随机森林、决策树、SVM)来评估它们的性能。我使用了标准指标(Precision-Recall 和 F1-score),重点关注模型在识别类谣言方面的表现。我正在考虑这样解释:RoBERTa 接收带有标签(谣言/非谣言)的推文,然后权衡这些词及其对相关课程的影响。一个类中经常出现的词是可能与之相关的词。但我有这样的感觉' 这是对 RoBERTa 内部运作的复杂性的一种侮辱,甚至是一种侮辱。因此,对于比我拥有更多知识和专业知识的您,请您满足我的要求并启发我如何解释在下游任务中微调预训练语言模型的细节。