- 更新
我可以将小测试集拆分为验证集realB-v和测试集realB-t，然后微调模型并在测试集realB-v上进行测试。然后，我交换验证集和测试集并训练一个新模型。我可以报告两次培训的平均结果吗？
- 原帖
我有一个在真实数据集realA上训练的预训练模型M，我在另一个真实数据集realB上对其进行了测试，结果非常差，因为realA和realB存在域差距。由于realB中的真实图像很难获取，因此我决定生成像realB这样的合成图像，并使用这些图像synthetA来微调模型M。
我想知道我是否还需要获得验证集？如果是这样，验证集应该从syntheA或realB 中分离出来？realB已经是一个非常小的集合（300 张图像）。
在我看来，我认为在这种情况下不需要验证集。如果我直接微调模型并根据realB上的准确率得到超参数，它不会引起泛化问题，因为我用于微调的图像都是合成的。
我想听听你的意见。谢谢你。