深度学习中防止过拟合的方法?

深度学习中防止过拟合的方法?

1.Early stop

在模型训练过程中,提前终止


2.Data expending

用更多的数据集


3.正则

众所周知的正则化,有L1 L2 两者,顺便问下两者区别是什么?


4.Droup Out

以一定的概率使某些神经元停止工作,可以从ensemble的角度来看,顺便问下为啥Droup Out效果就是好呢?


5.BatchNorm

对神经元作归一化


详细的请看下面的文献吧,当你说出这几点后,面试官会接着问,为啥这个?为啥那个?为啥这个?为啥那个?为啥这个?为啥那个?为啥这个?为啥那个?为啥这个?为啥那个?为啥这个?为啥那个?为啥这个?为啥那个?o(╥﹏╥)oo(╥﹏╥)oo(╥﹏╥)oo(╥﹏╥)oo(╥﹏╥)o布吉岛

神经网络简介-防止过拟合 - CSDN博客
深度学习(二十九)Batch Normalization 学习笔记
理解droupout - CSDN博客
神经网络中的Early Stop
L2正则项与早停止(Early Stop)之间的数学联系
【CV知识学习】early stop、regularation、fine-tuning and some other trick to be known


笔者虽然只是一些问题的搬运工,但是笔者才疏学浅呀,具体需要对问题进行深入的小伙伴还望自己阅读相关文献,这里只是提出一些问题,以便于面试时问到,如果内容有一些错误,还望批评指正~~~~

编辑于 2017-11-11 20:16