gated-recurrent-unit - GRU的图表和方程之间的差异？

Question

当我在阅读 Colah 的博客时，在图中我们可以清楚地看到 z _t将变为 ^~ h _t而不是 r _t 但方程式另有说明。这不应该是 z _t *h _t-1而不是 r _t *h _t-1。如果我错了，请纠正我。

Answer 1

我发现这有点过时了，但是，如果您仍然没有弄清楚并关心它，或者对于最终会在这里的任何其他人，答案是图形和方程式是一致的。请注意，图中的运算符 (x)（其中带有 X 的粉红色圆圈）是 Hadamard 乘积，它是两个相同大小的张量之间的逐元素乘法。在方程中，这个算子用*（通常用一个圆和一个圆点在它的中心表示）来说明。~h_t是 tanh 算子的输出。tanh 算子接收时间t,的输入和和x_t之间的 Hadamard 乘积结果的线性组合。请注意，应该已经通过传递和的线性组合进行了更新r_th_{t-1}r_tx_th_{t-1}通过乙状结肠。我希望重置是明确的。