9

我正在使用 MATLAB 对一个简单的分类问题进行逻辑回归。我的协变量是一个介于 0 和 1 之间的连续变量,而我的分类响应是 0(不正确)或 1(正确)的二进制变量。

我正在寻找运行逻辑回归来建立一个预测器,该预测器将输出一些输入观察(例如,如上所述的连续变量)正确或不正确的概率。虽然这是一个相当简单的场景,但我在 MATLAB 中运行它时遇到了一些麻烦。

我的方法如下:我有一个X包含连续变量值的列向量,以及另一个大小相等的列向量Y,其中包含每个值的已知分类X(例如 0 或 1)。我正在使用以下代码:

[b,dev,stats] = glmfit(X,Y,'binomial','link','logit');

然而,这给了我一个非常高的p = 1.000系数 ( )(-650.5, 1320.1)和 1e6 数量级的相关标准误差值的荒谬结果。b

然后我尝试使用一个附加参数来指定我的二项式样本的大小:

glm = GeneralizedLinearModel.fit(X,Y,'distr','binomial','BinomialSize',size(Y,1));

这给了我更符合我预期的结果。glmval我提取了用于创建估计值的系数( Y_fit = glmval(b,[0:0.01:1],'logit');),并为拟合创建了一个数组 ( X_fit = linspace(0,1))。当我使用 覆盖原始数据和模型figure, plot(X,Y,'o',X_fit,Y_fit'-')的图时,模型的结果图基本上看起来像逻辑回归图典型的“S”形图的下 1/4。

我的问题如下:

1)为什么我的使用会glmfit给出奇怪的结果?
2)我应该如何解决我最初的问题:给定一些输入值,其分类正确的概率是多少?
3) 如何获得模型参数的置信区间?glmval应该能够从 输入stats输出glmfit,但我的使用glmfit没有给出正确的结果。

任何评论和输入都会非常有用,谢谢!

更新(3/18/14)

我发现这mnrval似乎给出了合理的结果。我可以使用[b_fit,dev,stats] = mnrfit(X,Y+1);whereY+1简单地将我的二元分类器变成一个名义分类器。

我可以循环[pihat,lower,upper] = mnrval(b_fit,loopVal(ii),stats);获取各种pihat概率值,其中loopVal = linspace(0,1)或一些适当的输入范围和“ii = 1:length(loopVal)”。

stats参数具有很大的相关系数(0.9973),但 p 值为b_fit0.0847 和 0.0845,我不太确定如何解释。有什么想法吗?另外,为什么要在我的例子中mrnfit工作?glmfit我应该注意到,使用时系数的 p 值GeneralizedLinearModel.fit都是p<<0.001,并且系数估计也有很大不同。

最后,如何解释函数的dev输出mnrfit?MATLAB 文档指出它是“解向量处拟合的偏差。偏差是残差平方和的概括。” 这是作为一个独立的值有用,还是仅与dev其他模型的值相比?

4

1 回答 1

3

听起来您的数据可能是线性可分的。简而言之,这意味着由于您的输入数据是一维的,因此存在一些值,x使得 的所有值都x < xDiv属于一个类(例如y = 0),而 的所有值都x > xDiv属于另一类(y = 1)。

如果您的数据是二维的,这意味着您可以在二维空间中画一条线,X这样特定类的所有实例都位于该线的一侧。

这对于逻辑回归 (LR) 来说是个坏消息,因为 LR 并不是真正要处理数据线性可分的问题。

逻辑回归试图拟合以下形式的函数:

逻辑回归

这只会在分母中的指数内的表达式为负无穷大或无穷大时返回y = 0或返回值。y = 1

现在,因为您的数据是线性可分的,并且 Matlab 的 LR 函数试图找到数据的最大似然拟合,您将获得极权重值。

这不一定是解决方案,但请尝试仅在一个数据点上翻转标签(因此对于 set 的某些t索引y(t) == 0y(t) = 1。这将导致您的数据不再是线性可分的,并且学习的权重值将被拖到更接近零的位置。

于 2014-03-23T17:46:55.437 回答