我正在实施决策树算法并尝试使用正交性来衡量拆分的质量。我的理解是我将正交性计算为：
1−cosθ(Pi,Pj)
其中 i 是拆分前的数据分区，j 是拆分后的分区。Pi 和 Pj 是每个分区中每个目标值的概率向量。
我已经实现了以下内容，但我不确定我是否正确解释了这一点。我有 6 个类，向量 1 在 1 类中占 66%，在 2 类中占 33%，在其余类中没有。向量 2 和 3 具有相同的分布（40%、10%、10%、20%、10%、10%）
import numpy as np
def calculate_orthogonality(vector_1, vector_2):
dot_product = np.dot(vector_1, vector_2)
orthogonality = 1 - np.cos(dot_product)
return orthogonality
vector1 = [0.6666666666666666, 0.3333333333333333, 0, 0, 0, 0]
vector2 = [0.4, 0.1, 0.1, 0.2, 0.1, 0.1]
vector3 = [0.4, 0.1, 0.1, 0.2, 0.1, 0.1]
print(calculate_orthogonality(vector1,vector2))
print(calculate_orthogonality(vector1,vector3))
print(calculate_orthogonality(vector2,vector3))
0.0446635108744
0.0446635108744
0.028662025148
特别是我希望vector2 和3 返回0，即它们是相同的，因此是平行的。
这让我相信我在这里误解了一些东西。有任何想法吗？
ps 我查看了其他常见的措施，如基尼杂质等，它们很好，但我发现这是一种替代方法，我正在尝试衡量它的有效性。
干杯
大卫
编辑：
找到以下http://masongallo.github.io/machine/learning,/python/2016/07/29/cosine-similarity.html
看来我的理解还差得很远。如果我使用这个实现，我会得到以下
import numpy as np
def cos_sim(a, b):
"""Takes 2 vectors a, b and returns the cosine similarity according
to the definition of the dot product
"""
dot_product = np.dot(a, b)
norm_a = np.linalg.norm(a)
norm_b = np.linalg.norm(b)
return dot_product / (norm_a * norm_b)
vector1 = [0.6666666666666666, 0.3333333333333333, 0, 0, 0, 0]
vector2 = [0.4, 0.1, 0.1, 0.2, 0.1, 0.1]
vector3 = [0.4, 0.1, 0.1, 0.2, 0.1, 0.1]
print(cos_sim(vector1,vector2))
print(cos_sim(vector1,vector3))
print(cos_sim(vector2,vector3))
0.821583836258
0.821583836258
1.0
向量 2 和 3 被高亮显示为相同。我需要更多地了解这个过程，但我认为这是正确的。