python - 为马尔可夫过程生成 Kolmogorov-Chapman 方程

Question

我正在寻找一种为 MathCad 生成 Kolmogorov-Chapman 方程以解决马尔可夫链问题的方法。问题是找到系统处于其中一种状态的概率。系统有 N 个组件。我有一个带有 2^N 节点（状态）和 2*N 参数的图表： N a's，这是第 N 个组件将发生故障b的概率和 N ，这是损坏的组件将再次变得健康的概率。

N 可以接近 10，这意味着至少会有 1024 个方程，所以我正在寻找一种方法来生成这些方程。

Mathcad 不是必需的，任何其他数学引擎都可以（即使 Python 也可以用 smth like 解决scipy）

Answer 1

问题是找到系统处于其中一种状态的概率。

由于您的随机过程是 N 个独立马尔可夫链的组合，因此通过分别求解每个链的方程比求解整个过程的 2 个^{2*N方程的系统更容易解决问题。}

单个链的转移矩阵是：

因此，Kolmogorov-Chapman 方程为：

如果您仍然需要整个系统的方程：