1

我正在编写一个代码来使用高斯分布检测异常。

这是我为计算概率密度函数而编写的代码：

function p = multivariateGaussian(X, mu, Sigma2)
%MULTIVARIATEGAUSSIAN Computes the probability density function of the
%multivariate gaussian distribution.
%    p = MULTIVARIATEGAUSSIAN(X, mu, Sigma2) Computes the probability 
%    density function of the examples X under the multivariate gaussian 
%    distribution with parameters mu and Sigma2. If Sigma2 is a matrix, it is
%    treated as the covariance matrix. If Sigma2 is a vector, it is treated
%    as the \sigma^2 values of the variances in each dimension (a diagonal
%    covariance matrix)
%

k = length(mu);

if (size(Sigma2, 2) == 1) || (size(Sigma2, 1) == 1)
    Sigma2 = diag(Sigma2);
end

X = bsxfun(@minus, X, mu(:)');
p = (2 * pi) ^ (- k / 2) * det(Sigma2) ^ (-0.5) * ...
    exp(-0.5 * sum(bsxfun(@times, X * pinv(Sigma2), X), 2));

end

我的第一个问题：有没有更快更聪明的方法来计算这个？我在这里设置了一个带有 2 台电脑的小 matlab 集群，但在这种情况下，我不知道如何并行化它。

我的第二个问题：在我用作训练集的矩阵之一是 [42712X19700]，即使有 24 GB 的内存，我也会出现内存不足错误。是否可以使用诸如随机森林之类的技术（对训练集进行切片，然后合并结果？）？或者有什么其他方法可以规避这个问题？

我很感激任何帮助。提前谢谢！

4

1 回答 1

0

将数据分成小块并应用 parfor 处理每个块。这只是我对大规模处理的选择。或者您可以使用基于进程的并行化并读取一个块，因为另一个进程正在计算另一块数据。

于 2013-11-10T02:45:25.470 回答