问题标签 [model-comparison]

我正在使用glmnetR 中的包，而不是（！）caret我的二进制 ElasticNet 回归的包。我已经到了我想比较模型的地步（例如 lambda 设置为lambda.1seor lambda.min，以及k-fold设置为 5 或 10 的模型）。但是，我还没有为我的模型计算AICcor BIC。我怎么做？我试过这个和这个，但它对我不起作用，我只得到一个空列表。代码：

我怎样才能找到AICc最BIC适合我的模型？

我希望这个问题适合这里，因为它不仅是关于编码问题，而且还挖掘了一些关于线性混合效应模型的理论问题。假设线性混合效应模型：

我可以计算它的 AIC 分数并用它来将模型与其他模型进行比较。就我而言，我有另一个模型：

mymodel3的预测是 model1 和 model2 = 预测中的最小值min[model1, model2]。我想比较model3，model1我知道我可以使用均方误差 (MSE) 例如。但是，MSE 没有考虑到这model3是两个模型的组合，并且 MSE 的差异可能无法证明增加的复杂性是合理的。那么，我可以计算一个考虑模型复杂性的测量值，例如 AIC，以便比较模型吗？

注意：model1对所有数据进行了训练，model2仅针对子集。这样做是因为我假设子集中的项目可能会以不同的方式处理。因此，对于某些项目stem和其他项目form是更好的预测器（如文献中所讨论的）。

我有两个系列的数据如下。我想创建一个 OLS 线性回归模型df1和另一个 OLS 线性回归模型df2。然后统计检验这两个线性回归模型的y截距是否有统计学差异（p<0.05），并检验这两个线性回归模型的斜率是否有统计学差异（p<0.05）。我做了以下

结果#1

结果 #2

这是我所得到的，但我认为有问题。这些回归结果似乎都没有显示 y 截距。另外，我希望coef结果 #2 为 0，因为当所有值都为 1 时，我希望斜率为 0，但结果显示为0.2308. 任何建议或指导材料将不胜感激。

我想在 mlr3 中使用带有后续特征选择/过滤的 PCA。

我还没有在包/框架中找到用于这种“过滤”的 AIC 和 BIC。

这是因为它们在概念上不适合吗，例如 mlr3filters 中的所有方法在概念上都与这些信息标准不同，例如它们选择模型而不是特征？但是它们应该在 mlr_measures 下可用？

或者它们是否可以通过扩展包获得？

我正在尝试比较从同一数据集创建的一组 glms，但是在尝试使用 ICtab() 或 anova() 比较我的 glms 时，我得到了一个 nobs different / different dataset 错误。

我可以使用来自同一数据集的不同因变量运行另一组 glms，但这个特定的似乎不想工作。

我尝试过查看数据并清除所有空白并检查是否有任何输入错误，但找不到任何错误。所有可变长度都是相同的。

我不确定还有什么可以尝试解决这个问题？谢谢

我正在解决一个问题，要求我比较 A/B 模型并最终选择一个。经理每天为每个模型分配不同数量的客户来测试他们的表现。该表如下所示：模型表

保证金 = cross_amount/sales_amount

我想我可以根据保证金百分比进行 a/b 测试，但我不确定如何在这个问题中考虑 customer_count 矩阵。如果有人能给我一些想法，我将不胜感激。谢谢你！

我正在尝试在 ResNet50 上执行模型修剪。但是，我对它们的测试精度完全相同。我究竟做错了什么？

输出：基线测试精度：0.9070000052452087 修剪后的测试精度：0.9070000052452087

我正在tensorflow.keras.layers.GRU移动设备上实现 Keras GRU 模型 ( ) 用于字符级语言建模。为了有一个更小的设备检查点，我正在试验 8 位的 TFLite 和 CoreML 整数量化。问题在于，与 CoreML 压缩模型相比，TFLite 压缩模型在测试集上产生的准确率降低了 3%。测试集足够大，CoreML 模型结果非常接近完整的 32 位模型（或 16 位模型）。

这就是我为 TFLite 执行转换的方式（其中 model 是 type tf.keras.Model）：

我尝试过各种版本的 TensorFlow，包括 2.4.1、2.5.0 和 nightly。

这就是我为 CoreML 执行转换的方式（其中 model 是 type tf.keras.Model）：

TensorFlow Lite 不允许您指定量化模式，而 CoreML 允许您选择：（默认linear）、、、、、。我尝试了所有这些，但是。我尝试过的所有结果都与未量化模型非常相似，除了.linear_lutkmeans_lutcustom_lutlinear_symmetriccustom_lutlinear_lut

现在的问题是：为什么来自 TFLite 量化过程的模型比来自 CoreML 的几乎所有方法都要糟糕得多？有没有人经历过这种情况或有解决方法来提高 TFLite 量化的性能？

非常感谢你的帮助！

一些文档链接：

• TensorFlow 模型的 CoreML 转换：https ://coremltools.readme.io/docs/tensorflow-2
• TFLite量化通用页面：https ://www.tensorflow.org/lite/performance/post_training_quantization
• TFLite 量化规范：https ://www.tensorflow.org/lite/performance/quantization_spec

我是深度学习的新手，所以如果这个问题没有意义，请纠正我。

在传统的机器学习中，我知道如何比较模型并根据我选择的指标选择最佳模型之一。

然而，在深度学习中，每个模型都是用不同的层构建的，那么如何控制变量来公平地确定哪个模型是最好的呢？或者通常人们不会这样比较？

例如我有一个序列数据，我可以同时使用 CNN 和 LSTM 模型，那么我应该将模型与只有一层 CNN 和一层 LSTM 进行比较吗？之后我可以添加更多层或调整我的模型？

或者有人可以告诉我如何比较和选择具有所选指标的最佳深度学习模型的过程？

我想知道随着时间的推移（我的意思是年龄，而不是波浪）的体积发展是否在群体之间有所不同。我也有一些协变量。A做了一个模拟数据集：

我想出了以下模型：

这导致以下输出

我希望我可以用我的 s(age,by=group) 术语来解释群体之间的发展差异，但是它为我提供了每个群体的平滑年龄参数。我怎样才能最好地评估交互效果（尽管我也在某处读到交互可能不是这个加法模型中的合适术语）？

我想到了使用 anova()，将带有 by term 的模型与没有 by term 的模型进行比较

但这并没有给我根据我将 lm 模型与 anova() 进行比较的经验所期望的输出

有谁知道比较模型是否是研究交互效果以及如何获得实际效果的合适方法？最好是我也可以用于成对分析的方法。

所有的帮助将不胜感激！