我目前正在使用 huggingface 包来训练我的 layoutlm 模型。但是，我正在经历对令牌分类任务的过度拟合。我的数据集仅包含 400 个文档。我知道这是非常小的数据集，但我没有其他机会收集更多数据。
我的结果在下表中。我已经尝试过weight_decay=0.1，我认为这是一个很高的数字，并且还尝试过根据 f1 分数和损失分别提前停止，但它们没有奏效。
我应该额外尝试哪些正则化技术？您是否有任何解决方案来过度拟合具有类 BERT 模型的小型数据集？
问问题
175 次