0

我已经建立了一个分类的 3 层人工神经网络，它似乎可以在其他数据集上工作。玩弄我制作的一些人工数据集，当一个类在一个特征或另一个特征中为正时，我无法在两个类之间正确预测。

显然，可以通过询问特征 1 或特征 2 是否等于 1 来识别 class1，但我无法让算法正确预测数据集（数据集中有 20 个遵循此模式的示例）。

ANN/MLPs 可以识别这种类型的模式吗？如果是这样，我错过了什么？如果没有，是否有其他方法可以预测这种类型的模式（可能是 SVM）？

我使用 Octave，因为这是 coursera 提供的在线课程中使用的。我在这里列出了大部分代码，尽管在我运行它时它的结构略有不同。正如你所看到的，我确实在第一层和第二层使用了偏差单元，并且我还将第二层中隐藏单元的数量从 1 到 5 改变了，但与随机猜测相比没有任何改进。

% Load dataset
y = [1; 1; 2; 2]
X = [1, 0; 0, 1; 0, 0; 0, 0]
m = size(X, 1);    
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), hidden_layer_size, (input_layer_size + 1));
Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), num_labels, (hidden_layer_size + 1));

% Randomly initialize weight parameters
initial_Theta1 = randInitializeWeights(input_layer_size, hidden_layer_size);
initial_Theta2 = randInitializeWeights(hidden_layer_size, num_labels);
initial_nn_params = [initial_Theta1(:) ; initial_Theta2(:)];

% Add bias units to layers and feedforward
Xbias = [ones(m,1), X];
L2bias = [ones(m,1), sigmoid(Xbias*Theta1')];
L3 = sigmoid(L2bias * Theta2');

% Create class matrix Y
Y = zeros(m, num_labels);
for r = 1:m;
    Y(r, y(r)) = 1;
end

% Set cost function
J = (sum(sum(Y.*log(L3) + (1-Y).*log(1-L3))))/-m + lambda*(sum(sum((Theta1(:,2:columns(Theta1))).^2)) + sum(sum((Theta2(:,2:columns(Theta2))).^2)))/2/m;
% Initialize weight gradient matrices
D2 = zeros(rows(Theta2),columns(Theta2));
D1 = zeros(rows(Theta1),columns(Theta1));

% Calculate gradient with backpropagation
for t = 1:m;
    a1 = [1 X(t,:)]';
    z2 = Theta1*a1;
    a2 = [1; sigmoid(z2)];
    z3 = Theta2*a2;
    a3 = sigmoid(z3);
    d3 = a3 - Y(t,:)';
    d2 = (Theta2'*d3)(2:end).*sigmoidGradient(z2);
    D2 = D2 + d3*a2';
    D1 = D1 + d2*a1';
end

Theta2_grad = D2/m;
Theta1_grad = D1/m;

Theta2_grad(:,2:end) = Theta2_grad(:,2:end) + lambda*Theta2(:,2:end)/m;
Theta1_grad(:,2:end) = Theta1_grad(:,2:end) + lambda*Theta1(:,2:end)/m;

% Unroll gradients
grad = [Theta1_grad(:) ; Theta2_grad(:)];

% Compute cost (Feed forward)
[J,grad] = nnCostFunction(initial_nn_params, input_layer_size, hidden_layer_size, num_labels, X, y, lambda);

% Create "short hand" for the cost function to be minimized using fmincg
costFunction = @(p) nnCostFunction(p, input_layer_size, hidden_layer_size, num_labels, X, y, lambda);

% Train the neural network using fmincg
options = optimset('MaxIter', 1000);
[nn_params, cost] = fmincg(costFunction, initial_nn_params, options);

% Obtain Theta1 and Theta2 back from nn_params
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), hidden_layer_size, (input_layer_size + 1));
Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), num_labels, (hidden_layer_size + 1));
4

1 回答 1

0

NN 可以识别任何模式。通用逼近定理证明了这一点（以及许多其他定理）。

我能想到的最明显的原因是缺少偏置神经元。尽管要获得更有价值的答案，但您必须包含您的代码。

于 2014-01-08T21:26:11.703 回答