马尔可夫链如何工作？我已经阅读了马尔可夫链的维基百科，但我没有得到的是无记忆。无记忆指出：
下一个状态仅取决于当前状态，而不取决于之前的事件顺序。
如果马尔可夫链具有这种性质，那么在马尔可夫模型中链有什么用呢？
解释这个属性。
问问题
2437 次
2 回答
7
你可以想象马尔可夫链就像一只青蛙在池塘里从睡莲跳到睡莲。青蛙不记得它以前去过哪个睡莲。对于 i 和 j 的所有可能组合，它还具有从睡莲 Ai 跳跃到睡莲 Aj 的给定概率。马尔可夫链允许您计算青蛙在任何给定时刻在某个睡莲上的概率。
如果青蛙是素食者，每次落在睡莲上时都咬一口，那么它从睡莲 Aj 落到睡莲 Ai 上的概率也取决于之前访问 Ai 的次数。然后，您将无法使用马尔可夫链对行为进行建模，从而预测青蛙的位置。
于 2013-12-15T14:39:24.900 回答
4
无记忆的想法是马尔可夫链成功的基础。这并不意味着我们不关心过去。相反，这意味着我们只保留过去最相关的信息来预测未来，并使用这些信息来定义现在。这篇不错的文章提供了有关该主题的良好背景 http://www.americanscientist.org/issues/pub/first-links-in-the-markov-chain
在您对过去的描述的准确性和相关状态空间的大小之间需要权衡取舍。比如说，附近有 3 家酒吧，每天晚上你都选择一个。如果你随机选择这些酒吧，这不是马尔可夫链（或微不足道的零阶链）——结果是随机的。更准确地说，它是一个独立的随机变量（建模依赖是马尔可夫链背后的马尔可夫思想的基础）。
在您选择酒吧时，您可以考虑您最后的选择，即您前一天晚上去的酒吧。例如，您可能希望避免连续两天去同一家酒吧。虽然实际上这意味着记住您昨天去过的地方（从而记住过去！），在您的建模级别，您的时间单位是一天，因此您当前的状态是您昨天去过的酒吧。这是您的经典（一阶）马尔可夫模型，具有三个状态和 3 x 3 转移矩阵，为每个排列提供条件概率（如果昨天您去了 pub I，那么今天您“跳”到 pub J 的变化是什么） .
但是，您可以定义一个模型，让您“记住”过去两天。在这个二阶马尔可夫模型中，“当前”状态将包括昨晚和前一天晚上的酒吧知识。现在您有 9 个可能的状态来描述您的当前状态，因此您有一个 9 x 9 的转换矩阵。值得庆幸的是，这个矩阵没有完全填充。
要了解原因，请考虑稍微不同的设置，因为您组织得如此井井有条，以至于您根据最近两次访问为今天和明天的酒吧选择制定了坚定的计划。然后，您可以选择连续两天访问的酒吧的任何可能排列。结果是一个完全填充的 9 x 9 矩阵，它将您过去两天的选择映射到接下来两天的选择。然而，在我们最初的问题中，我们每天都在做决定，所以我们未来的状态受今天发生的事情的限制：在下一个时间步（明天）今天变成昨天，但它仍然是你对“今天”的定义的一部分在那个时间步，并且与第二天发生的事情有关。这种情况类似于移动平均线或后退水平过程。结果，从给定的状态，
让我们统计一下表征每个问题的参数数量：具有三个状态的零阶马尔可夫模型有两个独立的参数（点击第一个和第二个酒吧的概率，因为访问第三个酒吧的概率是前两个）。一阶马尔可夫模型有一个完全填充的 3 x 3 矩阵，每列总和为 1（再次表明，在任何给定的一天总是会访问其中一个酒吧），因此我们最终得到了六个独立的参数。二阶马尔可夫模型有 9×9 矩阵，每行只有 3 个非零条目，所有列加一，所以我们有 18 个独立参数。我们可以继续定义高阶模型，我们的状态空间也会相应增长。
重要的是，我们可以通过识别过去的重要特征来进一步细化概念，并仅使用这些特征来定义现在，即压缩关于过去的信息。这是我一开始提到的。例如，我们只能跟踪一些影响我们选择的难忘事件，而不是记住所有历史，并使用这个“足够的统计数据”来构建模型。
这一切都归结为您定义相关变量（状态空间）的方式，马尔可夫概念自然地遵循基础数学概念。一阶（线性）关系（和相关的线性代数运算）是当前大多数数学应用的核心。您可以查看具有单个变量的 n 次多项式方程，也可以通过定义辅助变量来定义 n 个方程的等效一阶（线性）系统。同样，在经典力学中，您可以使用二阶拉格朗日方程或选择导致（一阶）哈密顿公式的规范坐标http://en.wikipedia.org/wiki/Hamiltonian_mechanics
最后，关于马尔可夫问题的稳态与瞬态解的注释。大量的实际应用程序（例如，页面排名）依赖于找到稳态解决方案。事实上，这种收敛到稳态的存在是 A. Markov 创建他的链以努力将中心极限定理的应用扩展到因变量的最初动机。马尔可夫过程的瞬态效应（例如命中时间）的研究明显较少且更加模糊。然而，考虑马尔可夫对未来特定点结果的预测是完全有效的（不仅是收敛的“平衡”解）。
于 2014-03-29T15:50:34.563 回答