0

我想知道训练过程中训练表现如何变化。有没有办法通过 Vertex AI automl 服务访问它？

4

1 回答 1

0

不幸的是，在培训过程中无法看到培训表现。Vertex AI Auto ML 仅显示训练作业是否正在运行。

唯一可用的信息是“训练后模型在测试集上的表现如何”。这可以在 AutoML 的“评估”选项卡中看到。您可以参考Vertex AI Auto ML 评估以获取更多信息。

AutoML 提供了可以帮助您确定模型性能的评估指标。一些评估指标是精确度、召回率和置信度阈值。这些取决于您使用的 AutoML 产品。

例如，如果您有一个图像分类模型，以下是可用的评估指标：

  • AuPRC：精确召回（PR）曲线下的面积，也称为平均精确度。该值的范围从零到一，值越高表示模型质量越高。
  • 对数损失：模型预测和目标值之间的交叉熵。这范围从零到无穷大，其中较低的值表示更高质量的模型。
  • 置信度阈值：确定要返回哪些预测的置信度分数。模型返回处于此值或更高值的预测。较高的置信度阈值会提高精度，但会降低召回率。Vertex AI 返回不同阈值的置信度指标，以显示阈值如何影响精度和召回率。
  • 召回：模型正确预测的此类预测的分数。也称为真阳性率。精度：模型产生的正确分类预测的比例。
  • 混淆矩阵：混淆矩阵显示模型正确预测结果的频率。对于错误预测的结果，矩阵会显示模型预测的结果。混淆矩阵可帮助您了解您的模型在哪里“混淆”了两个结果。
于 2021-12-01T03:21:36.923 回答