machine-learning - 图像分类器的训练数据中每个类的大小是否必须相等？

Question

我目前正在使用 Nvidia DIGITS 训练图像分类器。我正在下载 1,000,000 张图像作为ILSVRC12数据集的一部分。您可能知道，该数据集包含 1,000 个类别，每个类别包含 1,000 张图像。问题是很多图像是从死的 Flickr URL 下载的，因此在我的数据集的相当一部分（大约 5-10%）中填充了下面显示的通用“不可用”图像。我计划遍历并删除这个“通用”图像的每个副本，从而使我的数据集只剩下与每个类相关的图像。

这个动作会使类的大小不均匀。它们不再包含 1,000 张图像。它们每个将包含 900-1,000 张图像。每个班级的人数必须相等吗？换句话说，我可以在不影响分类器准确性的情况下删除这些通用图像吗？提前感谢您的反馈。

Answer 1

每个类的训练数据数量不必完全相同。10% 的差异不会显着影响训练过程。
如果您仍然担心标签不平衡，您可以考虑使用"InfogainLoss"层来弥补缺失的示例。

PS，您利用了所有无效的 flickr 照片实际上都是相同的这一事实，并根据它们的 md5sum 自动删除它们。
例如，请参阅此答案，了解如何在下载 imagenet 照片时过滤掉这些图像。