问题标签 [model-comparison]

我正在安装几个具有不同结构的模型。每个结构的示例：

我对所有这些都使用相同的数据集，并且我希望使用包中的AIC()公式来比较 AIC 值stats。运行后AIC(m1, m2, m3)，我收到以下警告消息：

我检查了所有这些观察的数量，它们确实不同：

但我不明白为什么这个值不同，因为我使用的是完全相同的数据集（我从一开始就运行了两次，以及模型，以确保所有模型都相同）。

会不会和模型的公式有关？

我已经为相同的数据安装了几个模型。并在一个图中绘制了所有模型的预测线。

现在我想突出显示（粗体，粗线）具有最低 AIC 的模型的预测线。似乎找不到这方面的资源，所以我有点卡住了。

更新

这是我使用的模型的完整列表

关于使用交叉验证的模型选择的问题

假设一个数据集被拆分为训练集和测试集。在训练数据集上使用交叉验证来比较多个模型。

在一种情况下，一些模型产生了完全相同的验证错误。

在另一种情况下，模型的准确率可能排名为 99%、98%、97%、95%、90%.......等。

对于这两种情况，您能否告知如何以及为什么选择模型？

我知道测试数据集只是为了评估泛化错误而设计的。但是对于上述场景，是否是时候使用测试数据集来评估这些模型了。

为了解释我的问题，我有这个使用 R 的模拟数据。

首先，我拟合了一个常规（线性效应）逻辑回归模型。

然后为了检查非线性效应，我拟合了这个自然样条模型。

根据我的思维模型，我相信这两个模型是非嵌套模型。

接下来我想检查非线性模型 ( fit2) 与常规逻辑模型 ( ) 相比是否有任何显着影响fit1。

有什么方法可以比较这两个模型吗？我相信我不能使用包中的lrtest功能lmtest，因为这两个模型不是嵌套模型。

任何建议将不胜感激

谢谢你。

我正在尝试比较下面的两个模型

但是，我收到一条错误消息：

错误：参数“数据”必须是数据框

当我定义数据时，我会收到另一条错误消息：

.subset2(x, i) 中的错误：递归索引在级别 2 失败

我试图查看模型并显示它们（不确定我是否正在查看正确的模型，但是）：

两者都有 xlevels list[0] 如果您需要更多信息，请告诉我。

如果您能帮我解决这个问题，我将不胜感激！

我目前正在研究各种金融资产的某些非线性模型的符号可预测性。

下表显示了使用 9 种不同模型生成的 5 种金融资产的正确符号预测百分比，其中 *、** 和 *** 分别表示在 10%、5% 和 1% 水平上的显着性，用于双尾二项式检验H0：p=0.5。

现在，我的问题是，我应该还是不应该应用 Bonferroni 调整？

如果是这样，我应该调整模型数量、资产数量还是两者兼而有之？

我对此表示怀疑，因为这些列高度相关，因为 - 如果一个模型在一项资产上表现良好，它往往在其他资产上也表现良好。

我正在尝试比较使用多重插补构建的两个模型。当我尝试比较模型时，老鼠的 pool.compare() 给出了错误：错误：没有类调用对象的浏览方法或错误：'fit1'和'fit0'的插补数量不相等，即使我正在使用相同的估算数据集。这是一个可重现的示例：

我正在使用 anova() 函数比较 R 中的两个多级模型。一个模型包含一个控制变量，另一个模型包含一个实验变量。当我比较这两者时，我得到一个奇怪的结果，其中卡方为 0，p 值为 1。我将其解释为模型没有显着差异，但这对于我的数据和其他分析没有意义已经完成了这个实验变量。有人可以帮我理解这个输出吗？

为了解释变量，block_order（控制）是问题的平衡。这是一个有5个级别的因素。team_num 是 2 级随机效果；这是他们所属的参与者的团队。cent_team_wm_agg 是球队保持健康体重的愿望。它是一个连续变量。exer_vig 是连续因变量，它是人们锻炼的频率。

这是让我感到困惑的模型比较输出：

如果这有帮助，这里是模型本身。这是带有实验变量的那个：

和一个控制：

编辑：如果我不得不猜测，我认为这是因为控制模型比实验模型具有更多的自由度，但这就是我能想到的。我已经尝试在翻转模型顺序的情况下运行 anova，但它并没有改变任何东西。如果是这种情况，我不知道为什么 dfs 的数量会影响比较哪个更好。

谢谢！

使用 JAGS，我将不同的模型拟合到数据中，并希望使用偏差信息标准 (DIC) 来比较它们的拟合度。我正在使用“run.jags”来拟合模型，然后在模型运行后“提取”来确定模型的 DIC。我的模型没有问题地收敛，但我只获得了 DIC 偏差部分的值。我所有的惩罚值都是 0 或 NA。我想我明白为什么我得到 NA - 这些是预测值和观察值都为 0 的场景。我不明白为什么我在其他实例中得到 0。有想法该怎么解决这个吗？

有人因处罚而获得 NA 的其他帖子建议更改先验（https://sourceforge.net/p/mcmc-jags/discussion/610037/thread/2fcd66ea/），但他们使用的是 dic.samples()，而不是提炼（）。我尝试改变我的先验，但没有发现它改变了我的结果。

这是一些重现这种情况的代码（运行时间 < 1 分钟）：

我有许多使用相同数据和调整参数的插入符号模型对象。对于健全性检查，我想看看每种方法是否给了我相同的模型对象。（这是运行并行处理并确保我的模型相同的更广泛计划的一部分。）

例如，在下面，我训练了 2 个不同的模型并想进行比较。

当我比较插入符号对象时，它返回 FALSE。

如果我比较最终模型而不是插入符号对象，它将返回 TRUE。

所以我试图确定为什么插入符号对象不同？或者如果我使用了错误的功能？

我还设置了种子（例如在此示例中：https ://stackoverflow.com/a/21988897/8799325 ）并且仍然存在相同的问题。

更新：当我交换不同的模型（例如 rpart、lm）时，使用 finalModel 规范我得到相同（）调用的 FALSE 和 all.equal（）的 TRUE。在使用不同的模型时一定有什么东西？