skorch - Skorch：使用 AUC 代替 ACC 进行验证

Question

当我在其中运行net.fit(X,y)时，skorch它会打印出所有好东西 - 有没有办法将验证功能更改为例如 AUC、F1 或第三个功能，而不是标准精度？或者，如果不可能，有没有办法从网上提取验证集，并“手动”计算它？

Answer 1

您可以将任何您想要的 sklearn 指标与EpochScoring回调结合使用，因此 AUC 和 F1 工作得很好。看看这个笔记本，看看它在实践中是如何工作的。您甚至可以实现自己的指标，只要它符合 sklearn API。