math - 马尔可夫链关于初始状态的平稳分布条件

Question

作为马尔可夫链的一个属性，平稳分布已被广泛应用于page_rank等诸多领域。

但是，由于分布只是转移矩阵的一个属性，与马尔可夫链的初始状态无关。

那么转移矩阵的条件是什么，使得初始状态与马尔可夫链无关，所以在第n次迭代后最终到达平稳分布。

Answer 1

您需要基础图是强连接且非周期性的。如果您只想通过运行某个链来找到周期性马尔可夫链的平稳分布，请向每个节点添加具有一定概率的“停留”转换，并适当地缩小其他转换。

Answer 2

不能保证马尔可夫链具有唯一的平稳分布。例如，考虑一个两状态马尔可夫链，其中转移矩阵是单位矩阵。这意味着无论初始状态是什么，它都不会改变。所以在那种情况下，没有独立于初始情况的平稳分布。

在存在平稳分布的情况下，除非初始状态是平稳分布，否则只有在 n 趋于无穷大时才能达到平稳分布。因此迭代 n+1 将更接近于迭代 n，但无论 n 多大，它实际上都不会是平稳分布。然而，出于实际目的（即计算机中浮点数精度的限制），在少数迭代后很可能达到静止状态。