vowpalwabbit - vowpal wabbit 如何与梯度下降算法一起工作？

Question

我一直在尝试理解 vowpal wabbit 算法。有没有人可以帮助我了解大众以及如何实施它

Answer 1

Vowpal Wabbit专注于在线学习（尽管它也可以批量 L-BFGS），它的主要算法是随机梯度下降，具有几个（可选，但包含在默认值中）改进（自适应、标准化更新、巧妙的重要性加权、.. .)。该算法在本教程的幻灯片 5 和 11 中进行了描述。

没有必要实现它，它已经实现了:-)而且它超级快并且内存效率很高。因此，代码中包含很多优化技巧，不太适合初学者查看。