java - 梯度下降应用于词分类任务的特征向量包

Question

我一遍又一遍地观看了Andrew Ng 的视频，但我仍然不明白如何将梯度下降应用于我的问题。

他几乎只处理高级概念解释领域，但我需要的是底层战术见解。

我的输入是以下形式的特征向量：

例子：

Document 1 = ["I", "am", "awesome"]
Document 2 = ["I", "am", "great", "great"]

字典是：

["I", "am", "awesome", "great"]

所以作为向量的文档看起来像：

Document 1 = [1, 1, 1, 0]
Document 2 = [1, 1, 0, 2]

根据我所见，梯度下降算法如下所示：

我目前的理解是α是学习率，x ⁽ⁱ⁾是一个特征，在上面的例子中Document 2，x ⁽³⁾ =2。

y ⁽ⁱ⁾是标签，在我的情况下，我试图预测Document与特定特征向量相关的，例如 y ⁽⁰⁾将与 相关联Document 1，& y ⁽¹⁾将表示Document 2。

可能会有很多文档，比如说 10 个，所以在这种情况下，我可以有 5 个与 y ⁽⁰⁾相关联的文档和 5 个与 y ⁽¹⁾m = 10相关联的文档。

我不明白的第一件事是， Θ ₀和 Θ ₁的作用是什么？

我认为它们是权重值，与感知器算法一样，我将它们应用于特征的值，以努力哄骗该特征，不管其固有值如何，输出与其关联的标签的值. 那是对的吗？所以我一直在将 Θ 值与感知器的权重值相等，这准确吗？

此外，我不明白我们正在采用什么梯度。我真的不想再听到关于在山上行走之类的高级解释，实际上，对于我刚刚在上面详述的情况，我们采用什么梯度？两个后续迭代中的权重？一个特征的价值和它的真实标签？

感谢您的考虑，任何见解将不胜感激。

Answer 1

他几乎只处理高级概念解释的领域，但我需要的是基本的战术见解。

我发现他的视频是最实用和“最基础的”，尤其是因为您还可以查看代码。你看过吗？

我目前的理解是 α 是学习率，x(i) 是一个特征，在上面的文档 2 示例中，x(3)=2。

正确的 α，错误的x(i):x(i)是一个实例或一个样本。在您的示例中，您有：

Document 1 = [1, 1, 1, 0] = x(1)
Document 2 = [1, 1, 0, 2] = x(2)

例如，一个特征是x(1, 2) = 1。

y(i) 是标签，在我的例子中，我试图预测与特定特征向量相关联的文档，例如 y(0) 将与文档 1 相关联，而 y(1) 将代表文档 2。

正确的。虽然我相信 Andrew Ng 的讲座使用基于 1 的索引，但应该是y(1)and y(2)。

可能会有很多文档，比如说 10 个，所以我可以有 5 个与 y(0) 相关联的文档和 5 个与 y(1) 相关联的文档，在这种情况下 m = 10。

这不是你应该看待它的方式。每个文档都有自己的标签（一个y值）。它们之间的标签是否相等是另一回事。文档 1 将具有标签y(1)，文档5将具有标签y(5)。y(1) == y(5)到目前为止是否无关紧要。

我不明白的第一件事是，Θ0 和 Θ1 的作用是什么？

Theta0并Theta1代表您的模型，这是您用来预测标签的东西：

prediction = Theta * input
           = Theta0 * input(0) + Theta1 * input(1)

哪里input(i)是一个特征的价值，input(0)通常被定义为总是等于1。

当然，由于您拥有多个功能，因此您将需要两个以上的Theta值。Andrew Ng 在他介绍您发布的公式之后的讲座中继续概括此过程以获得更多功能。

我认为它们是权重值，与感知器算法一样，我将它们应用于特征的值，以努力哄骗该特征，不管其固有值如何，输出与其关联的标签的值. 那是对的吗？所以我一直在将 Θ 值与感知器的权重值相等，这准确吗？

对，那是正确的。

此外，我不明白我们正在采用什么梯度。我真的不想再听到关于在山上行走之类的高级解释，实际上，对于我刚刚在上面详述的情况，我们采用什么梯度？两个后续迭代中的权重？一个特征的价值和它的真实标签？

首先，你知道什么是渐变吗？它基本上是一个偏导数数组，因此更容易解释我们对什么进行偏导数以及对什么进行偏导数。

我们对每个值取成本函数的偏导数（在 Andrew Ng 的讲座中定义为差的平方） 。Theta所有这些偏导数构成了梯度。

我真的不知道如何更实际地解释它。与您列出的最接近的是“特征的值及其真实标签”，因为成本函数告诉我们模型有多好，它相对于每个特征权重的偏导数有点告诉我们每个模型有多糟糕体重到此为止。

您似乎再次混淆了功能和示例。要素没有标签。样本或实例有标签。样本或实例也包含特征。