问题标签 [markov]

我正在使用第一步转换矩阵来生成 DNA 序列。现在我需要给转换矩阵一个概率，使其每 1000 步改变一次。假设每 1000 步，转换矩阵有 40% 的概率发生变化。更改后每一行都应加 1。现在不知道如何在python中访问嵌套字典数据中的值，以及如何实现40%概率变化。我在这里附上了我的代码，任何建议都值得赞赏~

我正在编写一些计算马尔可夫链限制的程序。

如果马尔可夫矩阵发散，我应该将其转换为 dA + (1-d)E 的形式，其中 A 和 E 都是 n * n 矩阵，并且 E 的所有元素都是 1/n。

但是，如果我在输入收敛时应用该转换，则会出现错误的值。

有没有简单的方法来检查马尔可夫矩阵是否收敛？

我已经在 Python 中实现了简单马尔可夫决策过程维基百科的值迭代算法。为了保持特定马尔可夫过程的结构（状态、动作、转换、奖励）并对其进行迭代，我使用了以下数据结构：

1. 状态和可用于这些状态的操作的字典：

   SA = { 'state A': {' action 1', 'action 2', ..}, ...}

2. 转换概率字典：

   T = {('state A', 'action 1'): {'state B': probability}, ...}

3. 奖励字典：

   R = {('state A', 'action 1'): {'state B': reward}, ...}.

我的问题是：这是正确的方法吗？最适合 MDP 的数据结构（在 Python 中）是什么？

谁能解释如何使用 MATLAB 为图像估计 GMRF 模型的参数？

我已经尝试过像 UGM 这样的工具箱。（http://www.di.ens.fr/~mschmidt/Software/UGM/trainMRF.html）

我正在做一个副项目，该项目正在对倒立摆问题进行建模，并使用强化学习算法（最著名的是 Q-Learning）来解决它。我已经为网格世界设计了一个简单的 MDP 求解器——简单的东西。

然而，经过几天的研究论文搜索，我正在努力弄清楚如何做到这一点。没有什么可以解释如何建立一个表示问题的框架。

在建模问题时，可以使用标准的马尔可夫决策过程吗？还是必须是 POMDP？

每个状态代表什么（即传递给代理的状态信息是什么）？摆的坐标，速度，角度等？

代理可以采取什么行动？它是 + 或 - x 方向上的连续速度范围吗？

非常感谢您对此提供建议。

如何在C#中使用马尔可夫模型生成随机数？我注意到这里几乎所有马尔可夫算法的应用都是用于随机编写文本。是否有某个地方的源代码或教程可以让我完全理解它是如何工作的？我的目标实际上是生成随机数来模拟太阳能收集。

这里通过等价我的意思是，在这两种情况下分布（整个表）是否相等？？？

贝克山国家森林夏季的火灾危险被列为三个危险等级之一。这些是1 =低，2 =中等，3 =高。这些状态之间每日转换的概率由以下流程图给出：

(a) 将模型写成矩阵形式，预测从一天到下一天的火灾危险概率。

图片：http: //i.stack.imgur.com/TRuUy.png

(b) 如果我们今天处于状态 1，我们后天处于状态 2 的概率是多少？

(c) 如果你找到的矩阵是正确的，那么它的特征值和特征向量由下式给出

基于这些，处于每个状态的均衡概率是多少？

我找到了 a 部分的矩阵形式，但我无法弄清楚 b 和 c 部分。谢谢

我想用马尔可夫链创建一个简单的文本生成器。我不明白如何使用 java 'random' 例程以及使用什么数据结构？

例如，假设我有一个加载文档的例程，然后有一个马尔科夫例程来基于单独的结构生成文档。我将如何修改/创建生成文档例程？

我有这样的数据

Broker.Position

IP BP SP IP IP ..

我想以这种形式计算二阶转换矩阵

血压

SPSP

IPIP

BPSP

SPBP

IPSP

SPIP

BPIP

IPBP