问题标签 [markov-models]

我正在尝试使用micans.org上的马尔可夫聚类 (mcl) 算法的实现对数据进行聚类。我在算法描述中读到，可以将一个元素分配给多个集群。我怎样才能做到这一点？到目前为止，我可以获得具有独特点分配的集群，

假设我从论坛中收获了帖子。然后我删除了所有的用户名和签名，所以现在我只知道哪个帖子在哪个线程而不是谁发布了什么，甚至有多少作者（尽管显然作者的数量不能大于文本的数量） .

我想使用马尔可夫模型（查看哪些单词/字母跟在哪些单词后面）来计算有多少人使用了这个论坛，以及哪些帖子是由同一个人写的。为了大大简化，也许一个人倾向于说“他是”，而另一个人倾向于说“他是”——我说的是使用这种基本逻辑的模型。

请注意数据存在一些明显的问题：有些帖子可能很短（一个字答案）。它们可能是重复的（相互引用或使用流行的论坛流行语）。个别文本不是很长。

人们可能会怀疑，一个人很少会连续发帖，或者人们更有可能在他们已经发过帖的线程中发帖。利用这一点是可选的。

让我们假设帖子是纯文本并且没有标记，并且论坛上的每个人都使用英语。

我想获得所有文本的距离矩阵，T_i即文本和文本由同一作者撰写D_ij的概率，基于单词/字符模式。我打算使用这个距离矩阵对文本进行聚类，并提出诸如“撰写此文本的人还撰写了哪些其他文本？”之类的问题。T_iT_j

我将如何实际执行此操作？我需要一个隐藏的MM吗？如果是这样，隐藏状态是什么？我了解如何在文本上训练 MM，然后生成类似的文本（例如生成的爱丽丝梦游仙境），但是在训练频率树之后，如何使用它检查文本以获得它生成的概率那棵树？构建树时我应该看字母还是单词？

我正在尝试从给定的一段文本构建一个 n-gram 马尔可夫模型，然后访问它的转换表，以便我可以计算每个长度为 n 的单词序列（克）的条件熵。例如，在一个 2-gram 模型中，在阅读了一个文本语料库之后

“狗追猫 狗追猫 狗追猫 狗追猫 狗追猫 狗追猫 狗追猫 狗追猫 狗追猫 狗追人”

并建立一个内部转换表，状态“狗追”可能以0.9的概率转换为“追猫”的状态，以0.1的概率转换为“追人”的状态。如果我知道可能的转换，我可以计算条件熵。

有没有什么好的python库可以做到这一点？我检查了 NLTK、SRILM 和其他，但没有找到太多。

我正在尝试估计汉密尔顿（1989）的基本马尔可夫切换模型，如E-views 网页中的帖子。该模型本身就是对现有 RATS 的精确复制。

这是示例的时间序列：

我想使用MSwM包，所以我写了以下代码：

我得到的结果与在 Eviews 或 RATS 中获得的结果非常不同：

主要区别在于截距，因为在两种情况下都获得了正值，而不是 Eviews 或 RATS 中的值。这种差异是由于使用了最大化算法（MsWm 中的 EM）？或者我在我的 R 代码中犯了一些错误？

非常感谢。

我正在尝试使用 r 中的“semimarkov”包来拟合多态模型。

下面是我的代码的摘录，结果和我可能的错误。

如果有人能向我解释为什么会出现错误以及如何最好地解决它，我将不胜感激。谢谢

I am having trouble understanding the following figure from Coursera class:

From as far as I understand, the equation corresponds the factor table:

And therefore the likelihood of a sample data (a = 0, b=0, c=1) for example would be:

It doesn't look like the graph at any way. Can you please explain the graph for me?

我正在寻找马尔可夫决策过程/随机最优控制问题的求解器/优化器的求解器（另请参见不确定性下的顺序决策。

这个问题是由一组微分方程描述的，但它是通过时间离散化的。

其中 f(.),g(t) 是某个函数，z 是具有正态/对数正态/幂律概率分布的随机变量，u 是包含在 [0,1] 中的控制。你可能会及时改变。

优化标准可能是最后时间 T 的平均收入：

我正在寻找类似于http://nicky.vanforeest.com/probability/mdp/mdp.html但在 c/c++ 中解决此类问题的库。

我正在尝试使用 R 中的包将两种马尔可夫切换模型拟合到对数返回的时间序列。MSwM我正在考虑的模型是只有截距的回归模型和 AR(1) 模型。这是我正在使用的代码：

在这两种情况下，该功能msmFit都不起作用。这是我收到的错误消息：

我不知道为什么会收到此错误消息，因为我使用对象作为函数msmFit的第一个参数，lm而这是一个适合函数参数的类。

我正在使用fMarkovSwitchingR 中的包来做我在这里尝试做的事情：Fitting Markov Switching Models to data in R。

但是，我收到另一个奇怪的错误消息。我正在尝试复制本文第 12 页的示例（使用我的日志返回时间序列）： http://papers.ssrn.com/sol3/papers.cfm?abstract_id= 1714016

这是我正在使用的代码：

我收到的错误消息如下：

MS_Regress_Fit(dep = dep, indep = indep, S = S, k = k, distIn = "Normal") 中的错误：indep 处的列数应与 S 处的列数匹配

我写的代码只是论文中 MATLAB 示例的“翻译”。如果我修改S为匹配列数，我仍然会收到相同的错误消息，而如果我修改 indep输出我得到的是错误的。

编辑：可以使用以下命令将包安装在 R 中：install.packages("fMarkovSwitching", repos="http://R-Forge.R-project.org")

我使用 Baum-Welch 算法为越来越多的状态构建了几个隐马尔可夫模型。我注意到在 8 个状态之后，验证分数下降超过 8 个状态。所以我想知道由于某种过度拟合，隐马尔可夫模型的准确性是否会随着状态数量的增加而降低？

提前致谢！