我最近根据这本在线书籍和 Sebastian Lague 在 youtube 上关于神经网络的简短系列编写了一个神经网络。我尽可能忠实地对原始代码进行编码，但最终没有成功。我正在尝试用它解决一个简单的 XOR 问题，但它似乎总是给我随机但相似的值。我什至尝试复制和粘贴作者的代码，没有更改任何内容，但它仍然不起作用。
class NeuralNetwork:
def __init__(self, layer_sizes, rate):
weight_shapes = [(a,b) for a,b in zip(layer_sizes[1:], layer_sizes[:-1])]
self.weights = [np.random.standard_normal(s)/s[1]**0.5 for s in weight_shapes]
self.biases = [np.zeros((s,1)) for s in layer_sizes[1:]]
self.rate = rate
def predict(self, a):
for w,b in zip(self.weights, self.biases):
z = np.matmul(w,a) + b
a = self.activation(z)
return a
def backprop(self, a, o):
o = np.array(o)
self.zCollection = []
# Forward Propogation
for w,b in zip(self.weights, self.biases):
z = np.matmul(w,a) + b
self.zCollection.append(z)
a = self.activation(z)
# Output error
error = (a - o) * self.activationPrime(self.zCollection[-1])
self.weights[-1] += np.matmul(error, self.activation(self.zCollection[-2]).T) * self.rate
self.biases[-1] += error * self.rate
# Looping through layers
for i in range(2, len(self.weights)):
error = np.multiply(self.weights[-i+1].T * error,self.activationPrime(self.zCollection[-i]))
self.weights[-i] = np.add(self.weights[-i], np.matmul(error, self.activation(self.zCollection[-i-1]).T) * self.rate)
self.biases[-i] = np.add(self.biases[-i], error * self.rate)
@staticmethod
def activation(x):
return 1/(1+np.exp(-x))
@staticmethod
def activationPrime(x):
activation = lambda x : 1/(1+np.exp(-x))
return activation(x) * (1 - activation(x))
if __name__ == "__main__":
inp = [[0,0],[1,0],[0,1],[1,1]]
out = [[0],[1],[1],[0]]
# Reformating arrays
inp = np.array([np.array(i) for i in inp])
inp = np.array([i.reshape((len(i), 1)) for i in inp])
out = np.array([np.array(i) for i in out])
out = np.array([i.reshape((len(i), 1)) for i in out])
layer_sizes = (2,2,1)
nn = NeuralNetwork(layer_sizes, 0.001)
print("start")
for j in range(100):
for i,o in zip(inp, out):
nn.backprop(i, o)
print("done")
for i in inp:
print(f"{[list(j) for j in i]} >> {nn.predict(i)[0,0]}")
我对自己进行了一些调查，发现每次迭代的权重更新值总是很小且恒定。我不知道为什么，但看起来重量没有改变。我相信这可能是原因，因为当我在脚本开头设置种子时，输出值与 4dp 非常相似，但我不确定。我测试了前向传播，所以这不是问题。我还尝试随机化输入、改变学习率、不同的层大小和数量。我还尝试了一个感知器可以解决的不同问题集。这个问题是预测两个数字的总和是否大于其他数字。那也没有用。当我在各个时期绘制输出错误图时，它看起来像这样. 正如您从粗线中看到的那样，该值正在振荡并且似乎在下降。但是，当我对其进行测试时，它给出了完全错误的结果。
以下是我使用不同参数获得的一些输出：
学习率：100
layer_sizes：(2,2,1) epochs
：10000
[[0], [0]] >> 1.70366026492168e-23
[[1], [0]] >> 4.876567289343432e-20
[[0], [1]] >> 2.4579325136292694e-24
[[1], [1]] >> 9.206132845755066e-21
学习率：1
layer_sizes：(2,5,5,1) epochs
：10000
[[0], [0]] >> 0.9719657241512317
[[1], [0]] >> 0.9724187979341556
[[0], [1]] >> 0.9736236543859843
[[1], [1]] >> 0.9739884707274225
学习率：1
layer_sizes：(2,2,1) epochs
：100
[[0], [0]] >> 0.3912836914268991
[[1], [0]] >> 0.49042088270977163
[[0], [1]] >> 0.4499482050352108
[[1], [1]] >> 0.5324205501065111