algorithm - KNN算法需要归一化

Question

为什么在 KNN 中需要归一化？我知道这个过程标准化了所有特征对结果的影响，但是标准化之前到特定点 V 的“K”最近点将与标准化之后到该特定点 V 的“K”最近点完全相同。那么归一化对欧几里得距离有什么影响。毕竟 KNN 完全取决于欧几里得距离？提前致谢 ！

Answer 1

如果您在不同维度上有不同的可变性，大多数标准化技术将改变“K”最近的邻居。

想象一下 A=(-5,0)、B=(-5,1) 和 C=(5,1) 的数据集。现在考虑一个兴趣点 (4.5, 0)。显然，C 是最近的邻居。

在两个维度上将最小值-最大值归一化为 (-1,1) 后，您的数据集变为 A=(-1, -1), B=(-1,1), C=(1,1)。您的兴趣点对应于这个新空间中的 (0.9, -1)。因此，A 现在是最近的邻居。