问题标签 [markov]

马尔可夫链模型和隐马尔可夫模型有什么区别？我在维基百科中阅读过，但无法理解其中的差异。

我正在尝试从初学者的 Python 书籍 Think Python 中运行此代码，以对文本文件进行马尔可夫分析。当我运行作为解决方案提供的代码时，我得到一个 IndexError: List index out of range from the random.py 模块。我需要改变什么？

该代码应该是Think Python中练习 8 的答案，但我无法让它工作。

追溯：

编辑：我在 .txt 文件上运行它。这是从古腾堡计划下载的一本书的文本。

求解 CT 马尔可夫过程的方法有哪些？

我知道对于诸如生死或某些队列之类的已知过程，可以分析解决问题吗？但是，如果无法解析可解，如何解决？

看来应该使用数值方法。但是，我还没有找到任何支持它的工具。MATLAB有ode方法，但是除了设置过程的（常微分方程）ode外，还要添加一个matlab不支持的线性方程？

如何解决这些问题？
有什么工具或其他方法吗？

在 15.3 栏，作者介绍了如何从输入文档中随机生成文本。作者还给出了源代码。

我一直对源代码中的上述几行感到困惑。qsort的最后一个参数是：

但是 sortcmp 的定义不同。实际上，源代码无法在我的 VS2010 中编译。

在游戏中，英雄有 100% 的概率从 0 级升到 1 级。

1级时，他有1/3的概率进入2级，1/3的概率进入0级，1/3的概率留在1级。

在2级时，他有1/9的概率获胜，4/9的概率进入1级，4/9的概率留在2级。

如果每一步（升级/降级/保持在同一级别）花费一石，那么英雄平均要支付多少石才能获胜？

我应该想出一个 MDP 代理，它使用策略迭代和值迭代进行分配，并将其性能与状态的效用值进行比较。

鉴于 MDP 代理知道转移概率和奖励，它如何知道要移动哪个动作？

据我了解，MDP 代理将执行策略迭代，并在给定策略的情况下计算它在达到终止状态时获得的奖励。该策略是从值迭代算法发展而来的。

有人可以提供一些关于策略迭代如何工作的直觉吗？

我在概念上理解随机写入程序的结构（以文本文件的形式接受输入）并使用马尔可夫算法创建一个有点合理的输出时遇到了一个小问题。

所以我使用的数据结构是0-10的用例。在case 0:我计算一个字母/符号或数字的数字时，我的新文本以此为基础来模拟输入。我已经通过使用 Map 类型来实现这一点，该类型保存输入文本中的每个唯一字母以及文本中有多少个数组。所以我可以简单地询问特定字母的数组大小，然后像这样简单地创建输出文本。

但是现在我需要创建 case1/2/3 等等...... case 1 还包含最有可能出现在任何字母之后的字母。我需要为这些情况创建 10 个单独的数组，还是有更简单的方法？

我正在使用马尔可夫模型创建一个伪随机文本生成器。基本上，我使用哈希表来存储 k 阶（马尔可夫模型的顺序）的子串列表，然后对于每个子串，我有一个后缀的 TreeMap 及其在整个子串中的频率。

我正在努力生成随机后缀。对于每个子字符串，我都有一个包含所有可能后缀及其频率的 TreeMap。我无法使用它为每个后缀创建概率，然后根据概率生成伪随机后缀。

对此概念以及如何进行此操作的任何帮助表示赞赏。如果您有任何问题或需要澄清，请告诉我。

我正在尝试了解马尔可夫决策问题，并获得了值迭代算法，但我很困惑如何将它们转换为实际的 C++ 代码。主要是发生求和等的部分。这是算法：

这对我来说就像象形文字，有没有更简单的算法对我有更大的帮助？或者有人可以为我愚蠢吗？

我正在为家庭作业实施价值迭代。它进展顺利，但我对某个部分感到困惑，特别是下面指示的行

我一般理解这条线的重点，但我是否需要将更新的实用程序与旧版本或最后更新的状态进行比较或什么？目前我所拥有的似乎正在工作（主要是：P），但我很困惑，因为其他版本的算法（例如这个）具有 k <- k + 1 和 ∀s |Vk[s]-Vk-1[s] | < θ 这让我觉得我做错了。

这是我的代码：

我得到以下输出：