statistics - Keras：如何找出零假设？

Question

我正在使用 keras 训练深度神经网络。其中一个分数称为 val_acc。我得到了 70% 的 val_acc。我怎么知道这是好还是坏？神经网络是一个二元分类器，所以我试图预测一个 1 或一个 0。数据本身大约是 65% 的 0 和 35% 的 1。我的 70% val_acc 有用吗？

Answer 1

准确性并不总是评估分类器的正确指标。例如，对 1 进行更正确的分类可能比 0（例如欺诈检测）或其他方式更重要。因此，您可能有兴趣拥有一个具有更高精度（特异性）或召回率（灵敏度）的分类器。换句话说，误报对您来说可能比误报更昂贵。如果您对错误分类的成本有一些了解（例如对于 FP 和 FN），那么您可以精确计算对于 0-1 分类而言最佳的特定阈值（而不是默认的 0.5）。您也可以使用 ROC 曲线和 AUC 来查找分类器的性能（AUC 越高越好）。最后，您可能需要考虑 kappa 统计信息，以了解您的分类器的有用性/有效性。