深度学习---反向传播的具体案例

深度学习---反向传播的具体案例

最近遇到一位小师弟,他让我给他推导一下前向传播和反向传播过程,于是我埋头在白纸上一步一步推导,最后,小师弟特别开心,在此过程中,我也更一步认识了这个知识点,感觉很开心!O(∩_∩)O~~

接下来我用Matt Mazur的例子,来简单告诉读者推导过程吧(其实就是链式)!

先初始化权重和偏置量,得到如下效果:

前向传播

  1. 先计算h_{1} 的所有输入:net_{h_{1} } =w_{1}\ast i_{1}  +w_{2}\ast i_{2}+b_{1}\ast 1,代入数据可得:net_{h_{1} } =0.15\ast 0.05  +0.2\ast 0.1+0.35\ast 1=0.3775;
  2. 然后利用logistic函数计算得h_{1} 的输出:out_{h_{1} }=\frac{1}{1+e^{-net_{h_{1} } } }  =\frac{1}{1+e^{-0.3775}  }=0.593269992;
  3. 用同样的方法得out_{h_{2} }=0.596884378

对输出层神经元重复这个过程,使用隐藏层神经元的输出作为输入。这样就能给出o_{1} 的输出:

net_{o_{1} } =w_{5}\ast out_{h_{1} }  +w_{6}\ast out_{h_{2} }+b_{2}\ast 1,代入数据可得:

net_{o_{1} } =0.4\ast 0.593269992  +0.45\ast 0.596884378+0.6=1.105905967,则其输出为:

out_{o_{1} }=\frac{1}{1+e^{-net_{o_{1} } } }  =\frac{1}{1+e^{-1.105905967}  }=0.75136507

同样可以得到out_{o_{2} }=0.772928465


开始统计所有的误差

E_{total} =\sum_{}^{}{\frac{1}{2}(target - output)^{2}  }

如上图,o_{1} 的原始输出为0.01,而神经网络的输出为0.75136507,则其误差为:

E_{o_{1} } =\sum_{}^{}{\frac{1}{2}(0.01 - 0.75136507)^{2}  }=0.298371109

同样可得 E_{o_{2} } =0.023560026

综合所述,可以得到总误差为:E_{total} =E_{o_{1} }+  E_{o_{2} }=0.298371109


反向传播

输出层

对于w_{5} ,想知道其改变对总误差有多少影响,于是得:\frac{d E_{total} }{d w_{5} }

通过链式法则可以得到:

\frac{d E_{total} }{d w_{5} }=\frac{d E_{total} }{d out_{o_{1} } }\ast\frac{d out_{o_{1} } }{d net_{o_{1} } }\ast \frac{d net_{o_{1} } }{d w_{5} }

其实如下图所示,其实是一直在做的就是这个:

在这个过程中,需要弄清楚每一个部分。首先:

然后知:

最后得:

把它们放在一起就是:

为了减少误差,然后从当前的权重减去这个值(可选择乘以一个学习率,比如设置为0.5),得:

通过相同的步骤就可以得到:

在有新权重导入隐藏层神经元(即,当继续下面的反向传播算法时,使用原始权重,而不是更新的权重)之后,执行神经网络中的实际更新。


隐藏层

我们需要就算:

从图中其实更加明显可以看清楚:

得:

可知:

又因为:

所以:

结合可得:

同样可以得到:

因此:

我们知道logistic函数:

所以其求导为:

同样有前面前向传播可以知道:

得:

结合可得:

现在可以更新w_{1} 了。

同样的步骤可以得到:

最后,更新了所有的权重! 当最初前馈传播时输入为0.05和0.1,网络上的误差是0.298371109。 在第一轮反向传播之后,总误差现在下降到0.291027924。 它可能看起来不太多,但是在重复此过程10,000次之后。例如,错误倾斜到0.000035085。

在这一点上,当前馈输入为0.05和0.1时,两个输出神经元产生0.015912196(相对于目标为0.01)和0.984065734(相对于目标为0.99)。很接近了O(∩_∩)O~~

编辑于 2016-10-28