我有一个吸收马尔可夫链，假设我有状态
s={START, S1, S2, END1, END2}
状态 Start 将始终是链的起点，但是不可能返回到这个状态一旦你离开它。
我很好奇转换矩阵对于吸收的高阶马尔可夫链会是什么样子。
现在想象我设置二阶马尔可夫链转换矩阵如下：
__________C1 C2 C3 开始 END1 END2
C1,C1
C1,C2
C1,开始
C1, END1
C1, END2
。
.
.
例如在 C1、START 上会是什么样子？对于所有列，这将为零，但是总和为 1 所需的行不是吗？我只是从矩阵中删除它吗？
还有对于 C1、END1 的情况如何，这一行也将全部为零？另一边的状态 END1 和 END2 一旦你进入它就不可能离开，即它们正在吸收。
我想知道对于二阶或 k 阶马尔可夫链来说，转换矩阵会是什么样子。我在这个问题上找不到任何好的文献，请提供一些好的文献。
该(C1, START)行应从矩阵中删除。这是因为状态(C1, START)在描述链的图中不存在。它不存在的原因仅仅是该状态不可访问，因此不应被视为有效状态。
一般来说，表示第 k 阶马尔可夫链的转移矩阵不应包含无效 k 元组（表示对应于不可能路径的状态序列的元组）的行。
至于(C1, END1)行，它不是全零行，因为当您处于END1下一个状态END1时，概率为 1。因此，(C1, END1)您有非零概率进入(END1, END1).
好吧，如果您认为马尔可夫链是二阶的，那么您的初始状态应该是 (C1,C1), (C1,C2), ...，因此您的矩阵就像
__________(C1,C1) (C1,C2) (C1,C3) (C1,START) ...
(C1,C1)
(C1,C2)
(C1,C3)
(C1,开始)
(C1,END1)
(C1,END2)
...
有许多零（例如（C1，C2）到（C1，C1）的概率为零）。在您的情况下，它是一个 25*25 矩阵。
如果您声称它是二阶的，那么您必须有 2 个连续的状态才能估计下一个状态。