2

我正在尝试使用MATLAB princomp进行降维，但我不确定我做对了。

这是我的代码仅用于测试，但我不确定我的投影是否正确：

A = rand(4,3)
AMean = mean(A)
[n m] = size(A)
Ac = (A - repmat(AMean,[n 1]))
pc = princomp(A)
k = 2; %Number of first principal components
A_pca = Ac * pc(1:k,:)'  %Not sure I'm doing projection right
reconstructedA = A_pca * pc(1:k,:)
error = reconstructedA- Ac

我使用 ORL 数据集进行人脸识别的代码：

%load orl_data 400x768 double matrix (400 images 768 features)
%make labels
orl_label = [];
for i = 1:40
    orl_label = [orl_label;ones(10,1)*i];
end

n = size(orl_data,1);
k = randperm(n);
s = round(0.25*n); %Take 25% for train

%Raw pixels
%Split on test and train sets
data_tr = orl_data(k(1:s),:);
label_tr = orl_label(k(1:s),:);
data_te = orl_data(k(s+1:end),:);
label_te = orl_label(k(s+1:end),:);

tic
[nn_ind, estimated_label] = EuclDistClassifier(data_tr,label_tr,data_te);
toc

rate = sum(estimated_label == label_te)/size(label_te,1)

%Using PCA
tic
pc = princomp(data_tr);
toc

mean_face = mean(data_tr);
pc_n = 100;
f_pc = pc(1:pc_n,:)';
data_pca_tr = (data_tr - repmat(mean_face, [s,1])) * f_pc;
data_pca_te = (data_te - repmat(mean_face, [n-s,1])) * f_pc;

tic
[nn_ind, estimated_label] = EuclDistClassifier(data_pca_tr,label_tr,data_pca_te);
toc

rate = sum(estimated_label == label_te)/size(label_te,1)

如果我选择足够多的主成分，它会给我相同的识别率。如果我使用少量的主成分(PCA)，那么使用 PCA 的比率会更差。

这里有一些问题：

  1. 函数是使用 MATLABprincomp计算前k个主成分的最佳方法吗？
  2. 使用 PCA 投影特征与原始特征并不能提供额外的准确性，而只能提供更小的特征向量大小？（更快地比较特征向量）。
  3. 如何自动选择与原始特征向量具有相同精度的最小k （主成分数）？
  4. 如果我有非常大的样本集，我可以只使用其中的子集并具有相当的准确性吗？或者我可以在某个集合上计算 PCA，然后“添加”一些其他集合（我不想为 set1+set2 重新计算 pca，但以某种方式迭代地将来自 set2 的信息添加到来自 set1 的现有 PCA）？

我还简单地尝试了 GPU 版本gpuArray：

%Test using GPU
tic
A_cpu = rand(30000,32*24);
A = gpuArray(A_cpu);
AMean = mean(A);
[n m] = size(A)
pc = princomp(A);
k = 100;
A_pca = (A - repmat(AMean,[n 1])) * pc(1:k,:)';
A_pca_cpu = gather(A_pca);
toc
clear;

tic
A = rand(30000,32*24);
AMean = mean(A);
[n m] = size(A)
pc = princomp(A);
k = 100;
A_pca = (A - repmat(AMean,[n 1])) * pc(1:k,:)';
toc
clear;

它的工作速度更快，但不适合大型矩阵。也许我错了？

如果我使用一个大矩阵，它会给我：

使用 gpuArray 时出错 设备内存不足。

4

1 回答 1

1

“princomp 函数是使用 MATLAB 计算前 k 个主成分的最佳方法吗？”

它正在计算完整的 SVD，因此在大型数据集上会很慢。您可以通过在开始时指定所需的维数并计算部分 svd 来显着加快这一速度。部分 svd 的 matlab 函数是svds.

如果 svds' 对你来说不够快，这里有一个更现代的实现：

http://cims.nyu.edu/~tygert/software.html（matlab版本：http ://code.google.com/p/framelet-mri/source/browse/pca.m ）

（参见描述算法的论文http://cims.nyu.edu/~tygert/blanczos.pdf）

您可以通过增加计算的奇异向量的数量来控制近似误差，在链接的论文中有精确的界限。这是一个例子：

>> A = rand(40,30); %random rank-30 matrix
>> [U,S,V] = pca(A,2); %compute a rank-2 approximation to A
>> norm(A-U*S*V',2)/norm(A,2) %relative error               

ans =

    0.1636

>> [U,S,V] = pca(A,25); %compute a rank-25 approximation to A
>> norm(A-U*S*V',2)/norm(A,2) %relative error                 

ans =

    0.0410

当您拥有大量数据和稀疏矩阵时，通常不可能计算完整的 SVD，因为这些因素永远不会稀疏。在这种情况下，您必须计算部分 SVD 以适应内存。例子：

>> A = sprandn(5000,5000,10000);
>> tic;[U,S,V]=pca(A,2);toc;
no pivots
Elapsed time is 124.282113 seconds.
>> tic;[U,S,V]=svd(A);toc;   
??? Error using ==> svd
Use svds for sparse singular values and vectors.

>> tic;[U,S,V]=princomp(A);toc;
??? Error using ==> svd
Use svds for sparse singular values and vectors.

Error in ==> princomp at 86
    [U,sigma,coeff] = svd(x0,econFlag); % put in 1/sqrt(n-1) later

>> tic;pc=princomp(A);toc;     
??? Error using ==> eig
Use eigs for sparse eigenvalues and vectors.

Error in ==> princomp at 69
        [coeff,~] = eig(x0'*x0);
于 2013-07-07T21:34:43.340 回答