python - 在 DAI 中部署期间，用于对新预测进行评分的最终阈值是什么/在哪里？

Question

我有一个二进制分类问题，通过 DAI 运行它，并得到测试 AUC。在哪里可以找到部署期间用于对新数据行进行评分的概率阈值？

一个例子是 0.50 的阈值；IE 目标变量 >.50 得到 1，而 target<.50 在决策期间得到 0（反之亦然）。当您在 AUC 曲线上移动时，我需要超出 GUI 中显示的 4 位连接数字的确切阈值。在下面的图片中，我已经匹配了阈值，并且无法获得具有相同阈值的相同混淆矩阵。请注意，误报的差异非常小。

DAI 阈值 @ .0301 阈值

Sklearn 混淆矩阵@ .0301 阈值

更新答案：在 DAI 上完成实验后下载“实验摘要”选项卡。在 zip 文件中，您会找到一个ensemble_roc_test.json，它提供了最多 10 位的阈值。

Answer 1

无人驾驶 AI 预测会返回“分数”，因此阈值不会应用于预测，而取决于用户如何使用分数。可以在实验页面 ROC 曲线上看到优化不同指标的推荐阈值。例如，在下面的屏幕截图中，鼠标悬停在“Best F1”圆圈上以获取包含阈值的摘要：

Answer 2

更新答案：在 DAI 上完成实验后下载“实验摘要”选项卡。在 zip 文件中，您会找到一个ensemble_roc_test.json，它提供了最多 10 位的阈值。