markov-chains - 如何求解具有无限状态空间的二维马尔可夫链

Question

我有二维马尔可夫链，我想计算稳态概率，然后计算基本性能测量，如预期客户数量、预期等待时间等。您可以查看下面的转换率图链接：

http://tinypic.com/view.php?pic=2n063dd&s=8

当我寻找解决方法时，出现了矩阵几何和谱扩展方法。我尝试了矩阵几何方法，但是由于我的马尔可夫链不是重复的，所以它不起作用。

我读了一些论文（例如，一类马尔可夫模型的光谱扩展解决方案：应用和与矩阵几何方法的比较），但我不知道如何创建矩阵以及什么是稳态概率。

1. 频谱扩展方法是否需要像矩阵几何方法那样“重复过程”？如果不是，如何适用于我的问题？
2. 还有其他计算方法吗？

感谢你的帮助！

阿里

Answer 1

首先，双向无限格条没有稳定的求解方法。至少一个变量应该是有能力的。其次，以下是具有半无限或有限状态空间的二维马尔可夫链的最广为人知的求解方法：

• 谱扩展法
• 矩阵几何法
• 块高斯-赛德尔法
• Seelen 方法

所有方法都需要大量的计算工作。实验研究表明，对于半无限格条，当容量变量超过 50 时，解可能不可信。还有一个超出该阈值的状态爆炸问题。为了克服状态爆炸问题，使用了迭代方法，例如 Gauss-Seidel 和 Seelen 的方法。

关于我的问题，我确定了这两个变量的容量。在文献中搜索后，块 Gauss-Seidel 迭代方法似乎是应用我的问题的最合适的方法。

谢谢你。