deep-learning - 如何监控生产中的对象检测模型？

Question

我有一个疑问，有人可以告诉我如何在生产中监控对象检测模型，相关文章会有所帮助。

我已经使用 PyTorch 构建了 FasterRCNN，我正在将我的模型转移到生产中我想知道我们考虑使用哪些统计数据和哪些参数来监控模型或重新训练模型。

早些时候，我已经将回归模型生产到生产中，并使用统计测试来监控数据漂移和模型漂移。

有人可以告诉我如何监控对象检测模型吗？

提前致谢

Answer 1

在技​​术术语中，我们将此称为分布外检测或异常检测。使用图像的参考数据集，您可以对所有新图像进行持续监控，以了解哪些与训练数据相似，哪些看起来像异常。

必须准确知道您的模型何时不会泛化到新设置。例如，如果您的对象检测模型主要是在天气良好且光照良好的室外位置的图像上训练的，那么它在雨天和黑暗条件下的表现可能会不佳。你需要一个数据漂移检测工具，它可以自动检测这些不同的图像是否开始出现。