machine-learning - 如何在优化中获得神经网络中的动量项

Question

|我在torch7中有一个神经网络，想检查神经网络的动量是如何发展的，这是因为我想修改/减少它，因为我想对这些值进行一些额外的处理并且需要速度项要做到这一点。所以我有类似下面的代码：

for t = 1, params.num_iterations do
  local x, losses = optim.adam(feval, img, optim_state)
        img=postProccess(img,content_imageprep,params)
        print(velocity) -- how?
end

并想看看速度在做什么。有人知道怎么做吗？

打印optim_state给我以下输出

  v : CudaTensor - size: 1327104
  m : CudaTensor - size: 1327104
  learningRate : 10
  denom : CudaTensor - size: 1327104
  t : 4

但我现在确定如果是的话，什么术语代表速度，有人知道吗？

Answer 1

你不会在参数中找到动量的值，state而是在config参数中（在你的函数调用中不存在，那么动量值将等于它的默认值，即 0.9beta1和 0.999 beta2。

看看源代码https://github.com/torch/optim/blob/master/adam.lua#L24