考虑一个系统，其中两个人坐在一张桌子旁，共享三本书。在任何时候，两人都在看书，桌子上还剩下一本书。当一个人读完他/她当前的书时，他/她将它与桌上的书交换并开始阅读。阅读时间呈指数分布，用 bi,j 表示人 i 阅读书籍 j 的平均时间。
Let b = [1 2 4]
[5 1 2]
这个马尔可夫链的状态空间是什么？如何构造速率矩阵 Q ？
我从我的讲义中得到了这个练习，不知何故发现状态空间令人困惑，因为它是一个连续的时间马尔可夫链。
这些是我能想到的可能状态：
人 i1 和 i2，书 A、B、C
i1,A
i1,B
i1,C
i2,A
i2,B
i2,C
但是我如何以图形方式表示这一点？我试过了，但每个用户都有一个单独的马尔可夫链（可约），我怀疑这是正确的。我认为从那里根据矩阵 b 上的费率构建费率矩阵应该没问题。
这是可能更适合http://stats.stackexchange.com的问题之一，即使您打算编写代码来解决这个问题。原因之一是你有一个易于使用的数学模式，而在 SO 上你没有。但无论如何，我会在这里给出答案。
当您要构建马尔可夫链时，无论是连续时间链还是离散链都无关紧要，因为它们基于相同的概念并且通过形式上简单的转换相关联（就像差商变成当长度变得无穷小时的导数）。相反，重要的是您正确获取状态的信息内容。因此，需要评估这里需要什么才能进行过渡。
为此，您提出的状态变量是不够的：它只包含一个阅读器，而且缺少时间。显然，您需要两个读者和他们的书在状态变量中。但也需要他们开始的时间，否则你不会知道他们什么时候完成这本书。
因此，最终得到一个状态变量
S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2})
然后可以通过积分从start_time到当前时间的指数分布来评估转移函数t，这给出了读者在某个时间完成的概率t。您需要为两个读者都这样做，但您可以单独进行，因为它们不会影响他们的阅读时间。