machine-learning - 使用 Vowpal Wabbit 时计算 AUC

Question

无论如何要在 Vowpal Wabbit 中计算 AUC 吗？

我使用 Vowpal Wabbit 的原因之一是数据文件很大。我可以使用 Vowpal Wabbit 的输出计算 Vowpal Wabbit 环境之外的 AUC，但如果数据文件很大，这可能会出现问题。

Answer 1

目前，大众无法报告AUC。更糟糕的是，它不能直接针对 AUC 进行优化。优化 AUC 与在线学习不兼容，但有一些AUC 近似值适合优化。

关于您的问题，您不需要将带有原始预测的中间文件存储在磁盘上。您可以将其直接通过管道传输到外部评估工具（在本例中为perf）：

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

编辑：John Langford证实，AUC 通常可以通过改变假阳性和假阴性损失的比率来优化。在 VW 中，这意味着为正面和负面示例设置不同的重要性权重。您需要使用保留集（或交叉验证，或用于一次性学习的渐进式验证损失）来调整最佳权重。