我正在使用MATLAB进行逻辑回归，以解决一个简单的分类问题 . 我的协变量是一个介于0和1之间的连续变量，而我的分类响应是0（不正确）或1（正确）的二进制变量 .
我正在寻找运行逻辑回归来 Build 预测器，该预测器将输出某些输入观察的概率（例如，如上所述的连续变量）是正确的或不正确的 . 虽然这是一个相当简单的场景，但我在MATLAB中运行它时遇到了一些麻烦 .
我的方法如下：我有一个列向量 X ，其中包含连续变量的值，另一个大小相等的列向量 Y 包含 X （例如0或1）的每个值的已知分类 . 我正在使用以下代码：
[b,dev,stats] = glmfit(X,Y,'binomial','link','logit');
然而，这给了我无意义的结果，其中 p = 1.000 ，系数（ b ）非常高（-650.5,1320.1），并且相关的标准误差值大约为1e6 .
然后我尝试使用其他参数来指定二项式样本的大小：
glm = GeneralizedLinearModel.fit(X,Y,'distr','binomial','BinomialSize',size(Y,1));
这给了我更符合我的预期的结果 . 我提取了系数，使用 glmval 来创建估计（ Y_fit = glmval(b,[0:0.01:1],'logit'); ），并为拟合创建了一个数组（ X_fit = linspace(0,1) ） . 当我使用 figure, plot(X,Y,'o',X_fit,Y_fit'-') 覆盖原始数据和模型的图时，模型的结果图基本上看起来像'S'形图的下1/4，这是典型的逻辑回归图 .
我的问题如下：
1）为什么我使用 glmfit 给出了奇怪的结果？
2）我应该如何解决我的初始问题：给定一些输入值，它的分类是正确的概率是多少？
3）如何获得模型参数的置信区间？ glmval 应该能够从 glmfit 输入 stats 输出，但是我对 glmfit 的使用没有给出正确的结果 .
任何评论和意见都非常有用，谢谢！
更新（2014年3月18日）
我发现 mnrval 似乎给出了合理的结果 . 我可以使用 [b_fit,dev,stats] = mnrfit(X,Y+1); ，其中 Y+1 简单地将我的二元分类器变为名义分类器 .
我可以遍历 [pihat,lower,upper] = mnrval(b_fit,loopVal(ii),stats); 以获得各种 pihat 概率值，其中 loopVal = linspace(0,1) 或一些适当的输入范围和`ii = 1：length（loopVal）' .
stats 参数具有很大的相关系数（0.9973），但 b_fit 的p值是0.0847和0.0845，我不太清楚如何解释 . 有什么想法吗？另外，为什么 mrnfit 会在我的例子中超过 glmfit ？我应该注意到，当使用 GeneralizedLinearModel.fit 时系数的p值都是 p<<0.001 ，系数估计也是非常不同的 .
最后，如何解释 mnrfit 函数的 dev 输出？ MATLAB文档声明它是"the deviance of the fit at the solution vector. The deviance is a generalization of the residual sum of squares."这是一个独立的值，还是只与其他模型的 dev 值相比较？
1 回答
听起来您的数据可能是线性可分的 . 简而言之，这意味着由于您的输入数据是一维的，因此
x的某些值使得x < xDiv的所有值都属于一个类（例如y = 0），x > xDiv的所有值都属于另一个类（y = 1） .如果您的数据是二维的，这意味着您可以在二维空间中绘制一条线
X，以便特定类的所有实例都位于该线的一侧 .这对于逻辑回归（LR）来说是个坏消息，因为LR并不是真正意味着处理数据可线性分离的问题 .
Logistic回归试图拟合以下形式的函数：
当分母中指数内的表达式为负无穷大或无穷大时，这将仅返回
y = 0或y = 1的值 .现在，因为您的数据是线性可分的，并且Matlab的LR函数试图找到适合数据的最大似然值，您将获得极端权重值 .
这不一定是一个解决方案，但尝试只在您的一个数据点上翻转标签（因此对于某些索引
t，其中y(t) == 0设置y(t) = 1） . 这将导致您的数据不再是线性可分的，并且学习的权重值将被显着拖得更接近于零 .