25

我试图通过阅读在线可用的资源来了解 GMM。我已经使用 K-Means 实现了聚类，并且正在查看 GMM 与 K-means 的比较。

这是我的理解，如果我的概念有误，请告诉我：

GMM 就像 KNN，在这两种情况下都实现了聚类。但是在 GMM 中，每个集群都有自己独立的均值和协方差。此外，k-means 将数据点硬分配给集群，而在 GMM 中，我们得到一组独立的高斯分布，并且对于每个数据点，我们都有概率属于其中一个分布。

为了更好地理解它，我使用 MatLab 对其进行编码并实现所需的聚类。我使用 SIFT 特征来进行特征提取。并使用 k-means 聚类来初始化值。（这来自VLFeat文档）

%images is a 459 x 1 cell array where each cell contains the training image
[locations, all_feats] = vl_dsift(single(images{1}), 'fast', 'step', 50); %all_feats will be 128 x no. of keypoints detected
for i=2:(size(images,1))
    [locations, feats] = vl_dsift(single(images{i}), 'fast', 'step', 50);
    all_feats = cat(2, all_feats, feats); %cat column wise all features
end

numClusters = 50; %Just a random selection.
% Run KMeans to pre-cluster the data
[initMeans, assignments] = vl_kmeans(single(all_feats), numClusters, ...
    'Algorithm','Lloyd', ...
    'MaxNumIterations',5);

initMeans = double(initMeans); %GMM needs it to be double

% Find the initial means, covariances and priors
for i=1:numClusters
    data_k = all_feats(:,assignments==i);
    initPriors(i) = size(data_k,2) / numClusters;

    if size(data_k,1) == 0 || size(data_k,2) == 0
        initCovariances(:,i) = diag(cov(data'));
    else
        initCovariances(:,i) = double(diag(cov(double((data_k')))));
    end
end

% Run EM starting from the given parameters
[means,covariances,priors,ll,posteriors] = vl_gmm(double(all_feats), numClusters, ...
    'initialization','custom', ...
    'InitMeans',initMeans, ...
    'InitCovariances',initCovariances, ...
    'InitPriors',initPriors);

基于以上，我有means,covariances和priors. 我的主要问题是，现在怎么办？我现在有点迷路了。

means,向量也是covariances每个大小128 x 50。我期待它们是1 x 50因为每一列都是一个集群，每个集群不会只有一个均值和协方差吗？（我知道 128 是 SIFT 特征，但我期待均值和协方差）。

在 k-means 中，我使用了 MatLab 命令knnsearch(X,Y)，它基本上为 Y 中的每个点找到 X 中的最近邻。

那么如何在 GMM 中实现这一点，我知道它是概率的集合，当然，与该概率最近的匹配将是我们的获胜集群。这就是我感到困惑的地方。网上的所有教程都讲授了如何实现means,covariances值，但在聚类方面如何实际使用它们并没有多说。

谢谢

4

3 回答 3

69

我认为如果你先看看GMM模型代表什么会有所帮助。我将使用Statistics Toolbox中的函数，但您应该能够使用 VLFeat 执行相同的操作。

让我们从两个一维正态分布的混合情况开始。每个高斯由一对均值和方差表示。混合物为每个成分（先验）分配一个权重。

例如，让我们混合两个权重相等的正态分布 ( p = [0.5; 0.5])，第一个以 0 为中心，第二个以 5 为中心 ( mu = [0; 5])，第一个和第二个分布的方差分别等于 1 和 2 ( sigma = cat(3, 1, 2))。

正如您在下面看到的，均值有效地改变了分布，而方差决定了它的宽/窄和平坦/尖度。先验设置混合比例以获得最终的组合模型。

% create GMM
mu = [0; 5];
sigma = cat(3, 1, 2);
p = [0.5; 0.5];
gmm = gmdistribution(mu, sigma, p);

% view PDF
ezplot(@(x) pdf(gmm,x));

一维高斯的2-混合

EM 聚类的思想是每个分布代表一个聚类。因此，在上面的一维数据示例中，如果给定一个实例x = 0.5，我们会以 99.5% 的概率将其分配为属于第一个集群/模式

>> x = 0.5;
>> posterior(gmm, x)
ans =
    0.9950    0.0050    % probability x came from each component

您可以看到实例如何很好地落在第一个钟形曲线之下。然而，如果你在中间取一个点，答案会更加模棱两可（分配给 class=2 的点，但确定性要低得多）：

>> x = 2.2
>> posterior(gmm, 2.2)
ans =
    0.4717    0.5283

相同的概念扩展到具有多元正态分布的更高维度。在多个维度中，协方差矩阵是方差的泛化，以说明特征之间的相互依赖关系。

这里又是一个在二维中混合了两个 MVN 分布的示例：

% first distribution is centered at (0,0), second at (-1,3)
mu = [0 0; 3 3];

% covariance of first is identity matrix, second diagonal
sigma = cat(3, eye(2), [5 0; 0 1]);

% again I'm using equal priors
p = [0.5; 0.5];

% build GMM
gmm = gmdistribution(mu, sigma, p);

% 2D projection
ezcontourf(@(x,y) pdf(gmm,[x y]));

% view PDF surface
ezsurfc(@(x,y) pdf(gmm,[x y]));

二维高斯的 2 次混合

协方差矩阵如何影响联合密度函数的形状背后有一些直觉。例如在 2D 中，如果矩阵是对角的，则意味着这两个维度不会共同变化。在这种情况下，PDF 看起来像一个轴对齐的椭圆，根据哪个维度具有更大的方差，水平或垂直拉伸。如果它们相等，则形状是一个完美的圆形（分布在两个维度上以相等的速率分布）。最后，如果协方差矩阵是任意的（非对角线但根据定义仍然是对称的），那么它可能看起来像一个以某个角度旋转的拉伸椭圆。

因此，在上图中，您应该能够区分两个“凸起”以及各自代表的单独分布。当您进入 3D 和更高维度时，将其视为在 N维中表示（超）椭球。

二维协方差矩阵

现在，当您使用 GMM 执行聚类时，目标是找到模型参数（每个分布的均值和协方差以及先验），以便生成的模型最适合数据。最佳拟合估计转化为在给定 GMM 模型的情况下最大化数据的可能性（意味着您选择最大化 的模型Pr(data|model)）。

正如其他人所解释的，这是使用EM 算法迭代解决的；EM 从混合模型参数的初始估计或猜测开始。它根据参数产生的混合密度迭代地重新对数据实例进行评分。然后使用重新评分的实例来更新参数估计。重复此过程，直到算法收敛。

不幸的是，EM算法对模型的初始化非常敏感，所以如果你设置的初始值很差，可能需要很长时间才能收敛，甚至陷入局部最优。初始化 GMM 参数的更好方法是使用K-means作为第一步（就像您在代码中显示的那样），并使用这些集群的均值/cov 来初始化 EM。

与其他聚类分析技术一样，我们首先需要决定要使用的聚类数量。交叉验证是一种可靠的方法来找到对集群数量的良好估计。

EM 聚类的缺点是需要拟合很多参数，并且通常需要大量数据和多次迭代才能获得良好的结果。具有 M 个混合和 D 维数据的无约束模型涉及拟合D*D*M + D*M + M参数（每个大小为 DxD 的 M 个协方差矩阵，加上长度为 D 的 M 个平均向量，加上长度为 M 的先验向量）。对于具有大量维度的数据集，这可能是一个问题。因此习惯上施加限制和假设来简化问题（一种避免过拟合问题的正则化）。例如，您可以将协方差矩阵固定为仅对角线，甚至可以让所有高斯矩阵共享协方差矩阵。

最后，一旦您拟合了混合模型，您就可以通过使用每个混合组件计算数据实例的后验概率来探索集群（就像我在 1D 示例中展示的那样）。GMM 根据这种“成员资格”可能性将每个实例分配给一个集群。

这是使用高斯混合模型对数据进行聚类的更完整示例：

% load Fisher Iris dataset
load fisheriris

% project it down to 2 dimensions for the sake of visualization
[~,data] = pca(meas,'NumComponents',2);
mn = min(data); mx = max(data);
D = size(data,2);    % data dimension    

% inital kmeans step used to initialize EM
K = 3;               % number of mixtures/clusters
cInd = kmeans(data, K, 'EmptyAction','singleton');

% fit a GMM model
gmm = fitgmdist(data, K, 'Options',statset('MaxIter',1000), ...
    'CovType','full', 'SharedCov',false, 'Regularize',0.01, 'Start',cInd);

% means, covariances, and mixing-weights
mu = gmm.mu;
sigma = gmm.Sigma;
p = gmm.PComponents;

% cluster and posterior probablity of each instance
% note that: [~,clustIdx] = max(p,[],2)
[clustInd,~,p] = cluster(gmm, data);
tabulate(clustInd)

% plot data, clustering of the entire domain, and the GMM contours
clrLite = [1 0.6 0.6 ; 0.6 1 0.6 ; 0.6 0.6 1];
clrDark = [0.7 0 0 ; 0 0.7 0 ; 0 0 0.7];
[X,Y] = meshgrid(linspace(mn(1),mx(1),50), linspace(mn(2),mx(2),50));
C = cluster(gmm, [X(:) Y(:)]);
image(X(:), Y(:), reshape(C,size(X))), hold on
gscatter(data(:,1), data(:,2), species, clrDark)
h = ezcontour(@(x,y)pdf(gmm,[x y]), [mn(1) mx(1) mn(2) mx(2)]);
set(h, 'LineColor','k', 'LineStyle',':')
hold off, axis xy, colormap(clrLite)
title('2D data and fitted GMM'), xlabel('PC1'), ylabel('PC2')

电磁聚类

于 2014-09-27T00:23:30.727 回答
3

你是对的，在使用 K-Means 或 GMM 进行聚类的背后也有同样的见解。但是正如您提到的，高斯混合考虑了数据协方差。要找到 GMM 统计模型的最大似然参数（或最大后验 MAP），您需要使用称为EM 算法的迭代过程。每次迭代由一个 E 步（期望）和一个 M 步（最大化）组成，并重复直到收敛。收敛后，您可以轻松估计每个集群模型的每个数据向量的成员概率。

于 2014-09-24T15:28:51.820 回答
2

Covariance tells you how the data varies in the space, if a distribution has large covariance, that means data is more spread and vice versa. When you have the PDF of a gaussian distribution (mean and covariance params), you can check the membership confidence of a test point under that distribution.

However GMM also suffers from the weakness of K-Means, that you have to pick the parameter K which is the number of clusters. This requires a good understanding of your data's multimodality.

于 2014-09-24T16:48:48.420 回答