3

我在 python 中编写了一个神经网络对象，它具有成本函数并通过反向传播确定其梯度。我在这里看到一堆优化功能，但我不知道如何实现它们。我也很难找到任何示例代码来学习。

显然，我需要以某种方式告诉它我要更改哪些参数，我要最小化的成本函数，然后是反向传播计算的梯度。我怎么知道 fmin_cg 是什么？

额外问题：我在哪里可以了解各种算法的使用差异？

=====好的，更新=====

这就是我的自动取款机：

def train(self, x, y_vals, iters = 400):
    t0 = concatenate((self.hid_t.reshape(-1), self.out_t.reshape(-1)), 1)
    self.forward_prop(x, t0)

    c = lambda v: self.cost(x, y_vals, v)
    g = lambda v: self.back_prop(y_vals, v)

    t_best = fmin_cg(c, t0, g, disp=True, maxiter=iters)
    self.hid_t = reshape(t_best[:,:(hid_n * (in_n+1))], (hid_n, in_n+1))
    self.out_t = reshape(t_best[:,(hid_n * (in_n+1)):], (out_n, hid_n+1))

而且，这是它抛出的错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "netset.py", line 27, in <module>
    net.train(x,y)
  File "neuralnet.py", line 60, in train
    t_best = fmin_cg(c, t0, g, disp=True, maxiter=iters)
  File "/usr/local/lib/python2.7/dist-packages/scipy/optimize/optimize.py", line 952, in fmin_cg
    res = _minimize_cg(f, x0, args, fprime, callback=callback, **opts)
  File "/usr/local/lib/python2.7/dist-packages/scipy/optimize/optimize.py", line 1017, in _minimize_cg
    deltak = numpy.dot(gfk, gfk)
ValueError: matrices are not aligned

……住手！

4

2 回答 2

1

我从未使用过 fmin_cg。我猜 v 是你的权重向量。当我阅读文档时，我没有在您的代码中发现错误。但是我搜索了您的错误，发现：矩阵未对齐错误：Python SciPy fmin_bfgs

另外，我认为不能保证 g(v) 总是在 c(v) 之后计算。因此，您的反向传播函数应该再次向前传播 x ：

c = lambda v: self.cost(x, y_vals, v)
g = lambda v: self.cost(x, y_vals, v); self.back_prop(y_vals, v)
#             ------------------------

或者，您可以只传递一个返回成本函数和梯度作为元组的函数，以避免如 Issam Laradji 提到的两次前向传播。

关于人工神经网络优化算法的好文章有：

我可以推荐 Levenberg-Marquardt。这个算法真的很好用。不幸的是，每个迭代步骤都有三次复杂度 O(n^3)。

于 2012-07-07T08:44:53.837 回答
0

仅解决奖励问题：Coursera 有一个关于机器学习的很棒的课程，我会检查一下它是否还在，如果它还在，请通过关键概念来了解机器学习的每个实现（如果这是有道理的）然后从那里更深入。

于 2012-07-06T22:55:28.970 回答