algorithm - 梯度下降和爬山之间的行为差​​异

Question

我试图了解这两种算法之间的区别以及它们在解决问题方面的不同之处。我看过算法和它们的内部结构。很高兴听到其他已经体验过他们的人的意见。特别是，我想知道他们在同一个问题上的表现会有什么不同。

谢谢你。

Answer 1

区别

difference两者之间的主要是direction它们移动以达到局部最小值（或最大值）。

• 在Hill Climbing我们只 one element移动中vector space，然后我们计算函数的值并在值提高时替换它。我们不断改变向量的一个元素，直到我们不能在一个方向上移动，这样位置就可以改善。在3D sapce移动中可以被想象为在移动中的任何axial direction一个x,y or z axis。
• 我们在当前点Gradient Descent的方向上采取步骤negative gradient到达点minima（在最大值的情况下为正）。例如，在3D Space成为.need notaxial direction

Answer 2

然而，除了 radbrawler 的答案之外，它们在贪婪的方法上也很相似，两者都用于找到局部最小值/最大值。我可以将梯度下降视为离散爬山技术的连续版本。