问题标签 [markov]

我正在尝试解决一组方程来确定遍历马尔可夫矩阵的平稳分布。

即，矩阵为

方程组是来自以下定理的方程组

如何将上面的方程转换为有效的 Matlab 语法？

我正在尝试使用 r 中的“semimarkov”包来拟合多态模型。

下面是我的代码的摘录，结果和我可能的错误。

如果有人能向我解释为什么会出现错误以及如何最好地解决它，我将不胜感激。谢谢

我了解信念状态如何在 POMDP 中更新。但是在策略和价值函数部分，在http://en.wikipedia.org/wiki/Partially_observable_Markov_decision_process我无法弄清楚如何计算 V*(T(b,a,o)) 的值以找到最佳价值函数 V *(b)。我在互联网上阅读了很多资源，但没有人解释如何清楚地计算这个。有人可以为我提供所有计算的数学解决示例，或者为我提供数学上清晰的解释。

我是一名经济学家，现在我正在分析一些定性和文本数据。这对我来说是新的。

我想根据我的采访语料库为文本预测创建一个马尔可夫模型。我已经用 tm 包分析了一个语料库，在创建 DocumentTermMatrix 和 TermDocumentMatrix （等效）与 bigrams（词对）之后，我想计算每对词的概率矩阵，以便将其用于进一步的马尔可夫链预测. 所以，我从http://www.salemmarafi.com/code/twitter-naive-bayes/尝试了这篇文章

但我确信这不是解决我的问题的正确方法，因为此代码计算每对的频率，但不考虑从一个词到另一个词的转换概率。我还看到在 phyton 中也有一些文本预测算法的实现，也在 Java 中（参见 github），但我无法将其翻译成 R。有些人有一段代码可以执行这种分析R或知道直接执行它的包？

提前致谢

何塞

我正在研究估计具有时变概率的马尔可夫制度切换模型。如果您知道估算此类模型的更简单方法，请帮助我。

I am in an intro to programming class and one of our final projects is to create a sentence generator. The requirements are that we have to take a sample input, strip it down to only lower case letters, use the Markov Model to determine the transition probabilities (a to e, e to t, etc), and store them into dictionaries. For example the dictionary for e would looks something like this:

e_trans = {'em': 0.0769, 'e ': 0.2307, 'ea': 0.3077, 'es': 0.1538, 'et': 0.0769, 'ee': 0.1538}

Then we have to create a generator that uses these probabilities to create random sentences.

I haven't gotten very far because I don't even know where to start to get the probabilities. We cannot use any of the Markov Model packages for python. Any help would be greatly appreciated.

The code I have so far is:

考虑一个系统，其中两个人坐在一张桌子旁，共享三本书。在任何时候，两人都在看书，桌子上还剩下一本书。当一个人读完他/她当前的书时，他/她将它与桌上的书交换并开始阅读。阅读时间呈指数分布，用 bi,j 表示人 i 阅读书籍 j 的平均时间。

这个马尔可夫链的状态空间是什么？如何构造速率矩阵 Q ？

我从我的讲义中得到了这个练习，不知何故发现状态空间令人困惑，因为它是一个连续的时间马尔可夫链。

这些是我能想到的可能状态：

人 i1 和 i2，书 A、B、C

但是我如何以图形方式表示这一点？我试过了，但每个用户都有一个单独的马尔可夫链（可约），我怀疑这是正确的。我认为从那里根据矩阵 b 上的费率构建费率矩阵应该没问题。

考试解决方案

我正在学习马尔可夫决策过程，对于考试的第 6 题（请参阅上面的链接），我了解在某个动作后获得相同状态时如何计算效用（第 6 题的 a 部分）。

但我不明白如何计算其他状态和动作（问题 6 的 b 部分）。我假设方程是这样的：

对于“酷”状态下的“快速”动作：

对于“暖”状态下的“慢”动作：

对于“温暖”状态下的“快速”动作：

但是我们在这些方程中没有一个变量，我们没有这些状态的效用？我们如何获得与每个动作相关的预期效用值？

我正在尝试使用 python 实现马尔可夫决策过程的值迭代算法。我有一个实现。但是，这给了我许多实用程序的重复值。我的转换矩阵非常稀疏。可能，这导致了问题。但是，我不太确定这个假设是否正确。我应该如何纠正这个？代码可能很粗制滥造。我对价值迭代很陌生。所以请帮助我找出我的代码存在的问题。参考代码是这样的：http ://carlo-hamalainen.net/stuff/mdpnotes/ 。我使用了 ipod_mdp.py 代码文件。这是我的实现的片段：

非常感谢。

我一直在寻找生成文本。

到目前为止我学到的是我将不得不使用单词级马尔可夫文本生成。我在这个网站上找到了一些例子。这里

现在知道这行不通，我还是尝试了它并将其复制到处理中。存在找不到正确库的错误。

有没有人已经做到了这一点，或者可以为我指出一个好的方向，以找到更多关于通过处理进行文本生成的信息。或者甚至是想要合作的人。开源，什么不是。

我想要的与网站上的示例并没有什么不同，除了字母计数应该是基于单词的，并且数据库是由我在那里输入的单词给出的。最后一部分可以更改为我仍在头脑风暴中的其他来源。但实际上一切都可以用文字来表达。如果您有任何想法，请随时贡献。

当我从其他论坛了解更多信息时，我会编辑这篇文章。因此，当有解决方案时，我可以将其传递给其他人。

编辑：基于点击的解决方案生成

使用以下文本用于生成器。

它完全有效，现在我可以开始更改它以制作更大的文本。我有人有想法让我知道。但这个案子为我解决了。感谢处理论坛的 ChrisIr。