我在这里搜索并用谷歌搜索，但无济于事。在 Weka 中进行聚类时，有一个方便的选项，即类到聚类，它将算法产生的聚类（例如简单的 k-means）与您作为类属性提供的“基本事实”类标签相匹配。这样我们就可以看到集群准确率（不正确的百分比）。
现在，我如何在 Matlab 中实现这一点，即将我的clusterClasses向量 eg[1, 1, 2, 1, 3, 2, 3, 1, 1, 1]转换为与提供的地面实况标签向量 eg 相同的索引[2, 2, 2, 3, 1, 3]？
我想可能是基于集群中心和标签中心，但我不知道如何实现！
任何帮助将不胜感激。
文森特
几个月前，我在进行聚类时偶然发现了一个类似的问题。我没有很长时间搜索内置解决方案（尽管我确信它们一定存在），最后编写了我自己的小脚本，以将我找到的标签与基本事实相匹配。该代码非常粗糙，但它应该可以帮助您入门。
它基于尝试所有可能的标签重新排列，以查看最适合真值向量的女巫。这意味着给定一个yte = [3 3 2 1]带有 ground truth的聚类结果y = [1 1 2 3]，脚本将尝试匹配[3 3 2 1], [3 3 1 2], [2 2 3 1], [2 2 1 3], [1 1 2 3] and [1 1 3 2]以y找到最佳匹配。
这是基于使用内置脚本perms()无法处理超过 10 个独特的集群。对于 7-10 个独特的集群，代码也可能会变慢，因为复杂性会随着因子的增长而增长。
function [accuracy, true_labels, CM] = calculateAccuracy(yte, y)
%# Function for calculating clustering accuray and matching found
%# labels with true labels. Assumes yte and y both are Nx1 vectors with
%# clustering labels. Does not support fuzzy clustering.
%#
%# Algorithm is based on trying out all reorderings of cluster labels,
%# e.g. if yte = [1 2 2], try [1 2 2] and [2 1 1] so see witch fit
%# the truth vector the best. Since this approach makes use of perms(),
%# the code will not run for unique(yte) greater than 10, and it will slow
%# down significantly for number of clusters greater than 7.
%#
%# Input:
%# yte - result from clustering (y-test)
%# y - truth vector
%#
%# Output:
%# accuracy - Overall accuracy for entire clustering (OA). For
%# overall error, use OE = 1 - OA.
%# true_labels - Vector giving the label rearangement witch best
%# match the truth vector (y).
%# CM - Confusion matrix. If unique(yte) = 4, produce a
%# 4x4 matrix of the number of different errors and
%# correct clusterings done.
N = length(y);
cluster_names = unique(yte);
accuracy = 0;
maxInd = 1;
perm = perms(unique(y));
[pN pM] = size(perm);
true_labels = y;
for i=1:pN
flipped_labels = zeros(1,N);
for cl = 1 : pM
flipped_labels(yte==cluster_names(cl)) = perm(i,cl);
end
testAcc = sum(flipped_labels == y')/N;
if testAcc > accuracy
accuracy = testAcc;
maxInd = i;
true_labels = flipped_labels;
end
end
CM = zeros(pM,pM);
for rc = 1 : pM
for cc = 1 : pM
CM(rc,cc) = sum( ((y'==rc) .* (true_labels==cc)) );
end
end
例子：
[acc newLabels CM] = calculateAccuracy([3 2 2 1 2 3]',[1 2 2 3 3 3]')
acc =
0.6667
newLabels =
1 2 2 3 2 1
CM =
1 0 0
0 2 0
1 1 1
您可能想研究更灵活的评估集群的方法。例如配对计数指标。
“类=集群”假设对于从机器学习进入集群的人来说是典型的。但相反，您应该假设某些类可能由多个集群组成，或者多个类实际上是集群的。这些是聚类算法应该实际检测到的有趣情况。
我需要 Python 的这个确切的东西，并转换了 Vidar 发布的代码（接受的答案）。我将代码分享给任何感兴趣的人。我重命名了变量并删除了混淆矩阵（大多数机器学习库都为此内置了函数）。我注意到文森特（http://www.mathworks.com/matlabcentral/fileexchange/32197-clustering-results-measurement）链接的更快实现为时已晚。可能更好地适应 Python。
#tested with python 3.6
def remap_labels(pred_labels, true_labels):
"""Rename prediction labels (clustered output) to best match true labels."""
# from itertools import permutations # import this into script.
pred_labels, true_labels = np.array(pred_labels), np.array(true_labels)
assert pred_labels.ndim == 1 == true_labels.ndim
assert len(pred_labels) == len(true_labels)
cluster_names = np.unique(pred_labels)
accuracy = 0
perms = np.array(list(permutations(np.unique(true_labels))))
remapped_labels = true_labels
for perm in perms:
flipped_labels = np.zeros(len(true_labels))
for label_index, label in enumerate(cluster_names):
flipped_labels[pred_labels == label] = perm[label_index]
testAcc = np.sum(flipped_labels == true_labels) / len(true_labels)
if testAcc > accuracy:
accuracy = testAcc
remapped_labels = flipped_labels
return accuracy, remapped_labels
遵循@Vidar 的想法，我编写了自己的代码来查找最佳标签对应关系。我假设初始标签是整数 $0..K$ 并找到最匹配的标签重命名。该代码依赖于功能itertools.permutations（由this answer建议）：
import numpy as np
from itertools import permutations
def match_labels(labels, labels0, K):
perms = list(permutations(range(K)))
nmatch = 0
for jperm, perm in enumerate(perms):
labs = np.array([perm[l] for l in labels])
newmatch = (labs == labels0).sum()
if newmatch > nmatch:
nmatch = newmatch
newlabels = labs
matchtable = list(perm)
return newlabels, matchtable
该线程建议使用更先进的技术来验证聚类的质量。第一个尝试的可能是Rand index，它在许多库中都可用（例如，在scikit-learn 中）。