欢迎关注公众号:DeepL Newer

MENU

Logistic Regression

January 4, 2020 • Read: 1327 • Deep Learning阅读设置

本文简单介绍一下Logistic Regression的定义和原理。对于(Linear Regression)线性回归模型,输入$x$,网络参数为$w$和$b$,输出值为$y$,是个连续值。但是分类问题最终的输出值应该为离散的,那么如何转化为分类问题呢?

可以考虑增加一个$\sigma$函数,变为$y=\sigma(wx+b)$,这个$\sigma$也叫sigmoid函数或logistic函数,这样输出的值就能压缩到$[0,1]$,我们可以将这个值等效为probability

对于Regression问题,其目标是使pred(预测值)近似于输出的$y$值,即最小化$\text{dist}(pred,y)$;对于Classification问题,其目标是最大化accuracy,或者说最小化$\text{dist}(p_\theta(y|x), p_r(y|x))$。两者最主要的区别是traning的目标不同,这里可能会有疑问,why not maximize accuracy?

因为一般acc的计算公式为:$\frac{预测对的数量}{总的数量}$

$$ acc = \frac{\sum I(pred = y_i)}{\text{len}(Y)} $$

对于一个二分类问题,我们假设阈值为0.5,即$pred>0.5$,认为是第一类,$pred<0.5$,我们认为是第二类。一开始肯定会有分类不正确的,假设真实类别为1,预测值为0.4,则网络将其归为0这一类,在网络更新后,预测值变大为0.45,虽然更加靠近1,更加接近真实值,但是由于没有发生本质的变化,即仍然没有大于0.5

再比方说,假如一开始一个预测值为0.499,真实类别为1,网络更新后,预测值变为0.501,预测正确了,但是计算梯度时,可能会导致梯度非常非常大,甚至不连续

上面两个问题总结起来就是:

  • gradient = 0 if accuracy unchanged but weights changed
  • gradient not continuous since the number of correct is not continuous

最后一个问题,why call logistic regression?logistic好理解,因为使用了$\sigma$函数,但是为什么叫regression,而不是classification呢?这个问题的解答网上有很多争议,其中一个解释是说,因为一开始做classification的时候,用的就是MSE,所以叫做regression(解决regression问题常用的loss就是MSE),但是现在解决classification问题用的是Cross Entropy,只不过叫法以及被大家习惯了,所以没改

Last Modified: August 3, 2021
Archives Tip
QR Code for this page
Tipping QR Code