AI机动队
首发于AI机动队
逻辑回归——深度学习花书第五章(四)

逻辑回归——深度学习花书第五章(四)

继续花书第五章机器学习基础部分总结,接下来是经典监督学习算法,不过Ian对于逻辑回归和支持向量机一笔带过,解释的不是很详细,我准备结合Andrew Ng的cs229内容将逻辑回归(logistic regression)与支持向量机(support vector machine)分两篇详细写一下。

逻辑回归

之前我们回顾了线性回归问题(机器学习问题定义与线性回归——深度学习花书第五章(一)),在回归问题中,我们要预测目标y的具体的数值,如物品价格等,而逻辑回归主要解决的是二元分类问题,即y只取0和1两种值然后我们来推测取0或1的概率,例如检测email是还是不是垃圾邮件。0又被称作negative example, 1是positive example。

为了保证我们的概率分布在0至1之间,我们常常采用sigmoid函数将值限制在(0,1)区间内,表示为

p(y=1|x;\theta ) = \sigma (\theta ^T x)

其中 \sigma 为sigmoid函数,其形式为 \sigma (z) = \frac{1}{1+e^{-z}} ,如下图所示:

可以看出,当z趋向于正无穷时, \sigma (z) 趋近于1,而当z趋向于负无穷时, \sigma (z) 趋向于0。

逻辑回归的数值解法

和线性回归我们能够比较容易的求解析解不同,对于逻辑回归我们很难求解析解,我们需要利用例如梯度下降(梯度下降算法——深度学习花书第四章数值计算)这种数值解法。

我们假设了 p(y=1|x;\theta ) = \sigma (\theta ^T x)

相应的, p(y=0|x;\theta ) = 1-\sigma (\theta ^T x)

我们也可以统一表示为 p(y|x;\theta ) = (\sigma (\theta ^T x))^y (1-\sigma (\theta ^T x))^{1-y}

利用最大似然法,我们要求的 \theta

\theta _{ML} = argmax_{\theta}\sum_{i=1}^{m}{log\left\{ (\sigma (\theta ^T x_i))^{y_i} (1-\sigma (\theta ^T x_i))^{1-y_i} \right\}}

对于损失函数求导并简化可得

\frac{\partial L}{\partial \theta _j} = (y-\sigma (z))x_j

所以其梯度下降的更新公式为 \theta _j := \theta _j + \alpha(y-\sigma (z))x_j

逻辑回归的贝叶斯解释

之前我们直接给出了sigmoid函数的形式 \sigma (z) = \frac{1}{1+e^{-z}} 并未解释为什么会采取这样的函数形式,我们可以简单地用贝叶斯定理来解释。

我们的y实际上是一种伯努利分布(随机变量取0或1的分布,见川陀学者:概率论——深度学习花书第三章),而我们的输入x相对于y可以假设为高斯分布,如下表示

根据贝叶斯定理有

p(y=1|x)=\frac{p(x|y=1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0)}

=\frac{\phi e^{-\frac{1}{2}(x-\mu _1)^T \Sigma ^{-1} (x-\mu _1)}}{\phi e^{-\frac{1}{2}(x-\mu _1)^T \Sigma ^{-1} (x-\mu _1)} + (1-\phi )e^{-\frac{1}{2}(x-\mu _2)^T \Sigma ^{-1} (x-\mu _2)}}

=\frac{1}{1+\frac{1-\phi}{\phi}e^{\frac{1}{2}(x-\mu _1)^T \Sigma ^{-1} (x-\mu _1)-\frac{1}{2}(x-\mu _2)^T \Sigma ^{-1} (x-\mu _2)}}

=\frac{1}{1+e^{-((\mu _1 ^T - \mu _2 ^T)\Sigma ^{-1}x+\frac{1}{2}(\mu _2 ^2 - \mu _1 ^2)+ln\frac{\phi}{1-\phi})}}

将指数项用z来表示 z = \theta ^T x +b, 则 p(y=1|x) = \frac{1}{1+e^{-z}} 我们就从贝叶斯定理推出了sigmoid 函数的形式。


至此,逻辑回归总结完毕,逻辑回归在经典监督学习领域的应用还是比较广泛的,sigmoid函数在之后的深度神经网络的输出层中也会用到。下一篇总结支持向量机(SVM)算法。

编辑于 2018-07-15

文章被以下专栏收录