假设对于一个分类任务,我有算法 A 和算法 B,以及大小为 M 的标记数据集。算法 A 和算法 B 都是“确定性”机器学习方法,也就是说,算法没有一些参数是一个随机种子,因此给定不同的随机种子,即使使用相同的数据集,训练的分类器也可以不同。
我的问题是,如果我想证明算法 A 在统计上比算法 B 更好(或更差),我应该怎么做?
假设对于一个分类任务,我有算法 A 和算法 B,以及大小为 M 的标记数据集。算法 A 和算法 B 都是“确定性”机器学习方法,也就是说,算法没有一些参数是一个随机种子,因此给定不同的随机种子,即使使用相同的数据集,训练的分类器也可以不同。
我的问题是,如果我想证明算法 A 在统计上比算法 B 更好(或更差),我应该怎么做?