statistics - 具有随机梯度下降的内核 SVM 原始

Question

简而言之：我目前正在阅读带有内核的在线学习（http://books.nips.cc/papers/files/nips14/AA33.pdf）以获得乐趣，但我无法弄清楚他是如何从等式 6 得到等式 8和 7。

这个想法是：我们希望最小化风险函数

$R_stoch\[f,t\]:=c(x_t,y_t,f(x_t))+\lambda\Omega\[f\]$

如果我们想在 上应用表示定理f，将其写为

$f(x)=\sum\alpha_i k(x,x_i)$

我们如何才能进行STOCHASTIC梯度下降更新？

Answer 1

一组k(x _i , x)似乎构成了H的基础，并且由于f在H中，因此f可以写成“核函数”的线性组合。

所以假设k(x _i , x)的集合构成H的一个基，很明显，如果我们有一些左侧和右侧的线性冲突，并且它们相等，那么它们的基向量系数也应该相等（从线性代数中众所周知，向量相等意味着向量系数（在相同的基础上！）相等）。