math - 基于先前动作的随机游走

Question

我对这个领域很陌生，所以我提出的问题可能是直截了当的，或者对于其他专业人士来说看起来很幼稚。对于一维随机游走问题，如醉汉游走问题，当前走法与前一走法之间没有联系，通过吸收马尔可夫链法可以轻松解决该问题。但是，如果我们假设：

(1) 如果前一步是向前的，醉汉有 70% 的机会向前走，30% 的机会向后走；和

(2) 如果前一步是后退，醉汉有 30% 的机会向前走，70% 的机会向后走。

无论如何或有任何建议可以解决此类问题吗？顺便说一句，蒙特卡洛不被认为是一个很好的选择。我非常感谢您的帮助。

Answer 1

您的状态必须包含最后一个位置，以便您进行转换

(-1,-1) --> (-1,-1)
(+1,+1) --> (+1,+1)

有 70% 的概率

和

(-1,+1) --> (+1,-1)
(+1,-1) --> (-1,+1)

各有 30% 的概率。