假设我的数据具有具有 2 个可能值的特定属性 - A、B
我有一个用例，我需要在此数据上运行我的 ML 模型，并且在每天结束时，我的模型的精度被发现
为值 A、值 B 聚合的数据分别测量精度。
我的 ML 模型通常对两者都提供 97-98% 的精度 - 属性值为 A 的数据和属性值为 B 的数据。
但有时，一天的属性B的数量较少，即使误报较少，当天的精度仍然会变差。
例如，如果在 100 个预测中，对于属性值为 B 的那一天有 17 个预测是错误的，则该天的精度变为 83%。
然而，当 339K 预测中，328K 预测为真时，精度变为 96.75%。
所以我的问题是——
- 我应该如何对我们的模型进行基准测试？因此，一天中 A 或 B 的数量较少并不表明该模型必然表现不佳。
我们肯定想分别对属性值 A 和属性 B 测量模型的精度。
是否有某种方法可以通过数字（例如，为模型的精度给出的某种分数）来了解模型的性能，该数字将包含大量 A、B 以及较少量的 A、B？