目前,我们的团队中有 3 个机器学习模型正在生产中(2 个分类器和一个时间序列)。由于我们的 CICD 架构,带有 Sagemaker 模型监控的 Sagemaker studio 对我们来说不是正确的选择。所以现在我们有了一个 ECS 容器,里面有我们的预测模型。
我们现在想对我们的模型应用适当的模型监控。我的想法是将地面实况和预测数据存储在 s3 中,并通过 Athena 应用 quicksight 进行监控。
我的问题是:这是这样做的好方法吗?我们能以这种方式应用正确的指标吗?
目前,我们的团队中有 3 个机器学习模型正在生产中(2 个分类器和一个时间序列)。由于我们的 CICD 架构,带有 Sagemaker 模型监控的 Sagemaker studio 对我们来说不是正确的选择。所以现在我们有了一个 ECS 容器,里面有我们的预测模型。
我们现在想对我们的模型应用适当的模型监控。我的想法是将地面实况和预测数据存储在 s3 中,并通过 Athena 应用 quicksight 进行监控。
我的问题是:这是这样做的好方法吗?我们能以这种方式应用正确的指标吗?