人脸识别的LOSS(下)

人脸识别的LOSS(下)

题图依然来自Coco!上篇地址:

YaqiLYU:人脸识别的LOSS(上)zhuanlan.zhihu.com图标

Feature Normalization

  • Liu Y, Li H, Wang X. Rethinking feature discrimination and polymerization for large-scale recognition [C]// NIPS workshop, 2017.

COCO(congenerous cosine) loss: sciencefans/coco_loss,归一化了权值c,归一化了特征f,并乘尺度因子 \alpha

half MS-1M训练集,用coco loss训练Inception ResNet,在LFW上达到99.86%,接近满分,但要注意,同样的训练集和CNN,Softmax loss训练的结果是99.75%。

  • Ranjan R, Castillo C D, Chellappa R. L2-constrained softmax loss for discriminative face verification [J]. arXiv:1703.09507, 2017.

L2-Softmax: 在Softmax的w*x基础上,将特征向量x做归一化,并乘尺度因子进行放大:

尺度因子 \alpha 可以是固定值,也可以自适应训练,建议用固定值 \alpha=50 。可以MS-Celeb-1M的子集3.7M图像作为训练集,用L2-Softmax训练ResNeXt-101在LFW上达到了99.78%,与center loss联合使用也有提升。

  • Wang F, Xiang X, Cheng J, et al. NormFace: L2 Hypersphere Embedding for Face Verification [C]// ACM MM, 2017.

NormFace: happynear/NormFace,归一化了特征,同样加了尺度因子s,但这里推荐用自动学习的方法:

归一化后的softmax, contrastive 和center loss都用不同程度的提升,0.49M的CASIA-WebFace训练集28层ResNet,归一化前后,softmax从98.28%提升到99.16%,center loss从99.03%提升到了99.17%。

特征归一化的重要性

  • 从最新方法来看,权值W和特征f(或x)归一化已经成为了标配,而且都给归一化特征乘以尺度因子s进行放大,目前主流都采用固定尺度因子s的方法(看来自适应训练没那么重要);
  • 权值和特征归一化使得CNN更加集中在优化夹角上,得到的深度人脸特征更加分离
  • 特征归一化后,特征向量都固定映射到半径为1的超球上,便于理解和优化;但这样也会压缩特征表达的空间;乘尺度因子s,相当于将超球的半径放大到s,超球变大,特征表达的空间也更大(简单理解:半径越大球的表面积越大);
  • 特征归一化后,人脸识别计算特征向量相似度,L2距离和cos距离意义等价,计算量也相同,我们再也不用纠结到底用L2距离还会用cos距离:
  • 为什么仅特征归一化无法收敛,而必须乘固定尺度因子呢?以四分类为例分析。
  1. 仅特征归一化时,输出 \left\{ x_{1}, x_{2}, x_{3}, x_{4} \right\} 等价于 \left\{ cos(\theta), x_{2}, x_{3}, x_{4} \right\} ,理想情况下,优后 \theta 是0,x2=x3=x4都输出0,此时激活值为{1, 0, 0, 0},指数函数非线性放大后输出为{e, 1, 1, 1},归一化后置信度是{47.54%, 17.49%, 17.49%, 17.49%},远远达不到收敛的要求,所以仅归一化是不能训练的
  2. 归一化后乘尺度因子s,这里以s=60为例,输出 \left\{ x_{1}, x_{2}, x_{3}, x_{4} \right\} 等价于 \left\{ 60\cdot cos(\theta), x_{2}, x_{3}, x_{4} \right\} ,理想情况下,优后 \theta 是0,x2=x3=x4都输出0,此时激活值为{60, 0, 0, 0},指数函数非线性放大后输出为{exp(60), 1, 1, 1},归一化后置信度是{100%, 0%, 0%, 0%},完全可以达到收敛要求。所以特征归一化必须乘尺度因子。

Additive Margin Loss

  • Wang F, Liu W, Liu H, et al. Additive Margin Softmax for Face Verification [C]// ICLR 2018 (Workshop) .

AM-Softmaxhappynear/AMSoftmax,在SphereFace的基础上,乘性margin改成了加性margin,即 cos(m\theta) 变成了 cos\theta-m,在权值W归一化的基础上对特征f也做了归一化,采用固定尺度因子s=30,相比SphereFace性能有提升,最重要的是训练难度大幅降低,不需要退火优化。此外,论文还做了训练集CASIA-WebFace与测试集LFW和MegaFace的重叠identity清理,LFW从Center Loss和SphereFace清理的3对增加到17对,实验证明影响较大。AM-Softmax的特点是小训练集小网络,仅20层CNN,在清理后CASIA-WebFace上训练,LFW达到了98.98%,在MegaFace上较SphereFace提升明显,有源码的好文推荐!

  • Wang H, Wang Y, Zhou Z, et al. CosFace: Large Margin Cosine Loss for Deep Face Recognition [C]// CVPR, 2018.

CosFace:腾讯的CosFace与AM-Softmax完全一样,属于撞车,但CosFace投CVPR应该做完更早一点。同样的加性margin,同样的特征归一化,工作完成比AM-Softmax早。两个训练集没有提重叠身份清理的问题,0.49M小训练集CASIA-Webface,5M腾讯自己收集的大训练集,训练64层CNN,LFW上99.73%,MegaFace上大小训练集都是SOTA。对比AM-Softmax的结果,CosFace大网络和大训练集的性能提升非常明显,没有源码。

  • Jiankang Deng, Jia Guo, Stefanos Zafeiriou. ArcFace: Additive Angular Margin Loss for Deep Face Recognition [C]// CVPR, 2019.

ArcFace: deepinsight/insightface,这个不是虹软的!这个不是虹软的!这个不是虹软的!仅仅是算法与虹软的人脸识别SDK重名了,没有一点关系。论文叫ArcFace,代码叫insightface,在SphereFace的基础上,同样改用加性margin但形式略有区别,cos(m\theta) 变成了 cos(\theta+m),同样也做了特征归一化,固定因子s=64。ArcFace的特点是大训练集加大网络,也做了细致的训练集和测试集清理,训练集MS-Celeb-1M从100k-10M清理到85k-3.8M,测试集MegaFace算法加人工清理后识别率提高了15%,大网络是100层CNN,在LFW上做到了99.83%,在MegaFace上large也是SOTA,目前是榜单第一名,论文篇幅较长,实验细致,强力推荐好文!

强力推荐insightface人脸识别project,基于mxnet训练速度快,包含所有sota的backbone和loss方便上手 InsightFace - 使用篇, 如何一键刷分LFW 99.80%, MegaFace 98%为了用这套环境,我已经转mxnet了 -_-!

不同margin的对比

目前人脸识别算法以large margin为主,这里提出并讨论两个问题:

问题一:large margin为什么能work?

  • L-Softmax重构了Softmax,输出x变成 W\cdot f=\left| W \right|\cdot\left| f \right|\cdot cos\theta ,SphereFace归一化权值W,变成W\cdot f=\left| f \right|\cdot cos\theta;最新AM-Softmax和ArcFace继续归一化特征乘尺度因子,变成 W\cdot f=s\cdot cos\theta 。所以这里我们简化问题,默认归一化权值W和特征f,即 e^{x}=e^{s\cdot cos\theta} ,仅考虑 cos(\theta) 这一项变动对分类任务的影响。
  • 还是讨论四分类问题,输出 \left\{ x_{1}, x_{2}, x_{3}, x_{4} \right\} 等价于 \left\{ s\cdot cos(\theta), x_{2}, x_{3}, x_{4} \right\} 。原始Softmax在输出x = {5, 1, 1, 1}时就接近收敛,训练停止,此时改用large margin softmax,第一列的 cos(\theta) 强制变成cos(m\theta)cos\theta-mcos(\theta+m),会使输出减小,其他列保持不变,此时输出可能变成了x = {4, 1, 1, 1},网络又可以继续训练了。
  • 这一过程与“从hardmax的 x 到softmax的 e^{x}非线性放大了输出,减小训练难度,使分类问题更容易收敛”正好相反,从 cos(\theta)cos(m\theta)cos\theta-mcos(\theta+m),都非线性减小了输出,增加训练难度,使训练得到的特征映射更好。
  • 不同loss的曲线对比,下图来自ArcFace,所有loss都是单调递减的。对比Softmax的 cos(\theta) 曲线,乘性margin的SphereFace对应cos(m\theta) 曲线下降最多,训练难度剧增,退火技术也难以收敛,反观加性margin的CosineFace和ArcFace下降较少,训练难度稍微增加,所以更容易收敛。

问题二:Large Margin到底优化了什么?

前面提到large margin显式约束了类间分离,看可视化结果好像也是这样,但其实这种说法是不对的。

  • large margin优化的核心——夹角 \theta 是权值W和特征f之间的夹角,并不是不同类别之间的夹角,loss函数也完全没有涉及不同类别特征向量之间的夹角约束。
  • 具体来看 W\cdot f=\left| W \right|\cdot\left| f \right|\cdot cos\theta ,考虑W和f都是归一化的,训练目标从 cos(\theta) 变成cos(4\theta)cos\theta-0.35cos(\theta+0.5),都减小了输出激活值,如果要达到目标置信度100%,就需要优化出比Softmax更小的夹角 \theta ,也就是说large margin的优化目标是让权值向量W和特征向量f之间的夹角更小
  • 对特定类别来说,假如有1000张图像,经CNN特征映射后得到1000个特征向量,而权值向量W是每个类别只有一个,large margin loss要求这1000个特征向量和这1个权值向量的夹角非常小,也就是说,优化让1000个特征向量都向权值向量W的方向靠拢
  • 下图是SphereFace(m=4)在MNIST上跑出来的特征映射,不同颜色代表不同类别,每个类别的中心白线就是这个类别的权值向量可视化的结果,与前面的分析完全一致。结论就是:large magin是显式的类内夹角约束,目标是让同一类的所有特征向量都拉向该类别的权值向量

人脸识别的SOTA

影响算法性能的因素:

  1. 训练集:一般训练集类别数越多,图像数量越多,训练效果越好。此外训练集的收集和标注质量,不同类别的样本数量是否均衡,都对训练有影响。
  2. CNN:一般CNN的容量越大,训练效果越好。CNN的模型容量参考ImageNet上的分类性能,与参数数量和运行速度并不是正比关系。
  3. LOSS:这部分才是前面介绍的loss相关影响,特别注意,对比某个loss的性能提升,要综合考虑训练集和CNN,不能简单的看LFW上的识别率。

最常用的两个人脸识别测试库,和以上推荐算法的性能比较,结果来自论文:

  1. LFW:LFW Face Database : Main,错误列表:LFW Face Database : Main,使用最多的必跑测试库,从2015年FaceNet的99.63%开始就接近饱和了,目前所有算法都在99%以上,比较意义不大。特别举两个用Softmax loss训练的例子:COCO中half MS-1M训练Inception ResNet是99.75%,ArcFace中MS1M训练ResNet100是99.7%。
  2. MegaFace: MegaFace,目前最大也最具挑战性的测试集,但由于这个数据集质量较差,非常容易作弊,建议以有开源代码的算法,自行训练的结果为准。问题讨论: iBUG_DeepInsight · Issue #49 · deepinsight/insightface

上表中AM-Softmax和InsightFace都做了更细致的训练集重叠清洗,最后一行代表InsightFace对测试集也做了清洗的结果。

END

编辑于 2019-03-14

文章被以下专栏收录

    关注当前目标跟踪方向最火的方法之一,相关滤波的最新工作,分享好论文和心得,推荐好用的高速方法,当然也包括那些结合深度特征或结合CNN训练的相关滤波方法,欢迎道友投稿。近期也会关注深度学习相关的检测、识别算法。