问题标签 [model-comparison]

我使用包 MCLUST 在 R 中进行了潜在类/集群分析。我对我的论文进行了修改并重新提交，审稿人建议为集群解决方案制作一个拟合指数表（目前我刚刚在文中报告了 BIC）。当我查看一些使用 LCA 方法的论文时，他们报告了 BIC、样本大小调整后的 BIC 和熵；MCLUST 给出的唯一拟合统计量是 BIC。我可以找到熵图，但找不到熵统计量。我在 Mplus 上重新运行我的分析有点晚了（我发现在这些论文中它被用于 LCA）。坦率地说，使用另一个聚类包重新运行我的分析有点晚了。从我所有的阅读中，听起来 MCLUST 做的事情与其他一些 k-means 集群方法略有不同。还 - 似乎有时选择了 BIC 最低的模型（在某些论文中），但在 MCLUST 中选择了最高的模型？为什么？

所以，tldr；使用 MCLUST 时，还有哪些其他模型选择统计数据会在文章中报告？只有bIC是标准的/可以的吗？我将如何证明这一点？

所以这是我的数据头，

我想为涉及厚度和晶粒的三种不同模型找到 AIC 和 BIC。

我已经评论了每个旁边的输出，为什么它们都一样？

首先，我对 R 相当陌生。所以请不要在评论中如此苛刻。提前感谢任何帮助/链接/操作方法/示例；那些将不胜感激。

我有一个这样的模型：

并通过使用

我必须在每个步骤中检查 AIC 和 p 值。我在每一步中消除了具有最低 AIC 的变量。

但是，我有 100 多个指标。用 100 个指标和 12 个变量来做这件事是一团糟。

虽然我不是统计专家，但我已经知道 AIC 和 q 值不是模型决策的最佳方式（我已经阅读了一些文档，讨论了 AIC/p 值）。但是，我不会使用这个模型来制定任何东西。他们只会帮助我判断哪些指标对变量有反应。

所以，我想知道这个 drop1 是否可以自动完成？

您可以使用 Akaike 信息准则 (AIC) 进行逻辑回归或序数回归的模型选择吗？我想创建多个不同的逻辑和序数模型来找到最适合我的数据的模型，并且想知道 (AIC) 是否适用于这种类型的回归建模。

我正在处理月经周期数据，我想调查携带感染是否可以预测月经前症状的发生。此外，我没有先验理由认为月经前阶段会持续 3、4 或 5 天（或更少或更多）。因此，我想将模型与变量“阶​​段”的不同版本进行比较，以研究当人们想要预测经前症状作为感染的线索时，与经前阶段最相关的长度是多少。

但是，对于我遇到的数据和问题，我必须使用 glmmPQL，它不计算 AIC，因此我不能使用 MuMin 和其他类似的包（我也无法获得 qAIC）。目前我已经使用 ROC 包和性能函数来比较模型，但我不确定这是一个合理的方法。下面我详细介绍了我的数据集和模型。我在网上花了很多时间试图找到一种方法来比较 glmmPQL 模型与二项式响应和时间自相关结构，但在我的情况下没有一个工作（例如比较 gls 模型，因为我的响应是二项式，比较 lmer 模型因为我的数据是自相关的）。任何帮助将不胜感激，谢谢！

数据集：每一行描述一天，并且在女性中重复这些天。在此示例中，数据仅告知 1 个月经周期。响应变量是二进制 (0,1)，固定变量“inf”（感染：是/否）和“阶段”（阶段：月经前/其他）也是如此。因为数据在时间上是自相关的（每天的症状与女性前一天出现的症状相关），我使用 glmmPQL 来包含时间自相关结构和随机效应 ID。这给出了以下模型（长度：周期长度；dcycle：周期中的天数）

现在我想比较具有不同版本变量 Phase 的模型（phase4-> 月经前 4 天；phase5-> 月经前 5 天等...）

ETC...

这感觉不对，因为我没有一套标准来决定两个模型的准确性何时不同（如使用 AIC 时的 2 分规则）。因此，即使一个模型具有更好的准确度值，所有模型也可能大致等效。

最后，如果有人知道如何在 glmmPQL 上运行半范数图，请告诉我！

非常感谢

亚历克斯

我正在尝试找到 AIC 最低的模型。模型从两个 for 循环中返回，这些循环使列的组合成为可能。我无法制作具有最低 AIC 的函数返回模型。下面的代码演示了我卡住的地方：

有什么建议么？谢谢！

我正在尝试找到最好的 GLModel（目前仅基于 AIC 分数）。我使用的数据可以在这里访问：

https://drive.google.com/open?id=0B5IgiR_svnKcY25TQ29ZMGN3NVE

下面是一段未能返回最佳模型的代码：

出于某种原因，它总是卡在只有一个自变量的模型（“var5”，AIC 得分为 678.8），尽管我知道至少有一个更好的模型（“var1”，“var5”和“var8”，AIC 得分为 677.6）返回通过这段代码：

我不知道为什么第一段代码未能返回所需的结果。

感谢您的提示！

我为每个用户都有一个 word2vec 模型，所以我了解两个词在不同模型上的样子。有没有比这更优化的方法来比较训练好的模型？

这是比较两个模型的最佳方法吗？有没有更强大的方法来查看两个模型的比较而不是逐字比较？图片 1000 个用户/模型，每个用户/模型的词汇量相似。

不应该

当 step() 函数以低于 -9.86 的完整模型运行时，匹配 AIC 的输出

这是完整的代码：

我知道 Precision 的概念以及 Recall 的概念。但我发现很难理解使任何 PR 曲线成为可能的“阈值”的概念。

想象一下，我有一个模型要构建，该模型使用一些关于相关特征的不错的分类算法来预测患者癌症的再次发生（是或否）。我将数据拆分用于训练和测试。假设我使用训练数据训练了模型，并使用测试数据获得了我的 Precision 和 Recall 指标。

但是我现在如何绘制 PR 曲线呢？依据是什么？我只有两个值，一个精度和一个召回率。我读到它的“阈值”可以让你获得几个精确召回对。但这个门槛是多少？我仍然是初学者，我无法理解阈值的概念。

我在很多分类模型比较中看到过，如下所示。但是他们是如何得到这么多对的呢？

使用精确召回曲线的模型比较