machine-learning - 时差更新规则

Question

更新规则 TD(0) Q-Learning：

Q(t-1) = (1-alpha) * Q(t-1) + (alpha) * (Reward(t-1) + gamma* Max( Q(t) ) )
然后采取当前最佳行动（优化）或随机行动（探索者）

其中 MaxNextQ 是在下一个状态下可以获得的最大 Q...

但在 TD(1) 中，我认为更新规则将是：

Q(t-2) = (1-alpha) * Q(t-2) + (alpha) * (Reward(t-2) + gamma * Reward(t-1) + gamma * gamma * Max( Q(t) ) )

我的问题：
这个词的gamma * Reward(t-1)意思是我将永远采取我最好的行动t-1......我认为这会阻止探索......
有人可以给我一个提示吗？

谢谢

Answer 1

您在谈论“资格痕迹”的使用，对吗？见方程和算法。

注意那里的e_t(s, a)方程。使用探索步骤时不会应用任何惩罚。