RNN梯度消失和爆炸的原因

经典的RNN结构如下图所示:



假设我们的时间序列只有三段, S_{0} 为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下:

S_{1}=W_{x}X_{1}+W_{s}S_{0}+b_{1}O_{1}=W_{o}S_{1}+b_{2}

S_{2}=W_{x}X_{2}+W_{s}S_{1}+b_{1}O_{2}=W_{o}S_{2}+b_{2}

S_{3}=W_{x}X_{3}+W_{s}S_{2}+b_{1}O_{3}=W_{o}S_{3}+b_{2}

假设在t=3时刻,损失函数为 L_{3}=\frac{1}{2}(Y_{3}-O_{3})^{2}

则对于一次训练任务的损失函数为 L=\sum_{t=0}^{T}{L_{t}} ,即每一时刻损失值的累加。

使用随机梯度下降法训练RNN其实就是对 W_{x} W_{s}W_{o} 以及 b_{1}b_{2} 求偏导,并不断调整它们以使L尽可能达到最小的过程。

现在假设我们我们的时间序列只有三段,t1,t2,t3。

我们只对t3时刻的 W_{x}、W_{s}、W_{0} 求偏导(其他时刻类似):

\frac{\partial{L_{3}}}{\partial{W_{0}}}=\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{W_{o}}}

\frac{\partial{L_{3}}}{\partial{W_{x}}}=\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{S_{3}}}\frac{\partial{S_{3}}}{\partial{W_{x}}}+\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{S_{3}}}\frac{\partial{S_{3}}}{\partial{S_{2}}}\frac{\partial{S_{2}}}{\partial{W_{x}}}+\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{S_{3}}}\frac{\partial{S_{3}}}{\partial{S_{2}}}\frac{\partial{S_{2}}}{\partial{S_{1}}}\frac{\partial{S_{1}}}{\partial{W_{x}}}

\frac{\partial{L_{3}}}{\partial{W_{s}}}=\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{S_{3}}}\frac{\partial{S_{3}}}{\partial{W_{s}}}+\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{S_{3}}}\frac{\partial{S_{3}}}{\partial{S_{2}}}\frac{\partial{S_{2}}}{\partial{W_{s}}}+\frac{\partial{L_{3}}}{\partial{O_{3}}}\frac{\partial{O_{3}}}{\partial{S_{3}}}\frac{\partial{S_{3}}}{\partial{S_{2}}}\frac{\partial{S_{2}}}{\partial{S_{1}}}\frac{\partial{S_{1}}}{\partial{W_{s}}}

可以看出对于 W_{0} 求偏导并没有长期依赖,但是对于 W_{x}、W_{s} 求偏导,会随着时间序列产生长期依赖。因为 S_{t} 随着时间序列向前传播,而 S_{t} 又是 W_{x}、W_{s}的函数。

根据上述求偏导的过程,我们可以得出任意时刻对 W_{x}、W_{s} 求偏导的公式:

\frac{\partial{L_{t}}}{\partial{W_{x}}}=\sum_{k=0}^{t}{\frac{\partial{L_{t}}}{\partial{O_{t}}}\frac{\partial{O_{t}}}{\partial{S_{t}}}}(\prod_{j=k+1}^{t}{\frac{\partial{S_{j}}}{\partial{S_{j-1}}}})\frac{\partial{S_{k}}}{\partial{W_{x}}}

任意时刻对W_{s} 求偏导的公式同上。

如果加上激活函数, S_{j}=tanh(W_{x}X_{j}+W_{s}S_{j-1}+b_{1})

\prod_{j=k+1}^{t}{\frac{\partial{S_{j}}}{\partial{S_{j-1}}}} = \prod_{j=k+1}^{t}{tanh^{'}}W_{s}

激活函数tanh和它的导数图像如下。


由上图可以看出 tanh^{'}\leq1 ,对于训练过程大部分情况下tanh的导数是小于1的,因为很少情况下会出现W_{x}X_{j}+W_{s}S_{j-1}+b_{1}=0 ,如果 W_{s} 也是一个大于0小于1的值,则当t很大时 \prod_{j=k+1}^{t}{tanh^{'}}W_{s} ,就会趋近于0,和 0.01^{50} 趋近与0是一个道理。同理当 W_{s} 很大时 \prod_{j=k+1}^{t}{tanh^{'}}W_{s} 就会趋近于无穷,这就是RNN中梯度消失和爆炸的原因。

至于怎么避免这种现象,让我在看看 \frac{\partial{L_{t}}}{\partial{W_{x}}}=\sum_{k=0}^{t}{\frac{\partial{L_{t}}}{\partial{O_{t}}}\frac{\partial{O_{t}}}{\partial{S_{t}}}}(\prod_{j=k+1}^{t}{\frac{\partial{S_{j}}}{\partial{S_{j-1}}}})\frac{\partial{S_{k}}}{\partial{W_{x}}} 梯度消失和爆炸的根本原因就是 \prod_{j=k+1}^{t}{\frac{\partial{S_{j}}}{\partial{S_{j-1}}}} 这一坨,要消除这种情况就需要把这一坨在求偏导的过程中去掉,至于怎么去掉,一种办法就是使 {\frac{\partial{S_{j}}}{\partial{S_{j-1}}}}\approx1 另一种办法就是使 {\frac{\partial{S_{j}}}{\partial{S_{j-1}}}}\approx0 。其实这就是LSTM做的事情,至于细节问题我在LSTM如何解决梯度消失问题这篇文章中给出了介绍。

编辑于 2017-08-24