机器之眼
首发于机器之眼
FDDB和LFW数据集浅析及刷分心得

FDDB和LFW数据集浅析及刷分心得

LFW、FDDB与FRVT等数据集就像一张试卷,在答案固定的情况下被一波又一波的人反复研究,早已变得透明。但是时至今日,除了宣传炒作目的外还有人用数据集成绩作为算法好坏的评价标准,这是不客观的。


刚好在整理去年测试LFW与FDDB的资料,现在分享给大家,让初学者更清楚的了解LFW与FDDB。


当时云从科技研究院用一台GPU服务器花了一个月的时间刷到了99.5%,此后便没有投入精力去刷分。

-----------------------------------------------------------------------------------------------

2014年,随着人工神经网络的重大突破,Hinton发明的深度学习卷积神经网络的问世,人工智能领域以迅猛的姿态爆发,成为了科研和科技创业的热门领域。其中人脸识别成为了人工智能领域的风口浪尖。



作为人脸识别全世界最权威的两个数据库FDDB(Face Detection Data Set and Benchmark)和LFW(Labeled
Faces in the Wild Home),分别对人脸识别中最基本的两个问题:检测和识别,给出了详细的测试要求与评分标准。



LFW(人脸比对数据集)

无约束自然场景人脸识别数据集,该数据集由13000多张全世界知名人士互联网自然场景不同朝向、表情和光照环境人脸图片组成,共有5000多人,其中有1680人有2张或2张以上人脸图片。每张人脸图片都有其唯一的姓名ID和序号加以区分。



LFW数据集主要测试人脸识别的准确率,该数据库从中随机选择了6000对人脸组成了人脸辨识图片对,其中3000对属于同一个人2张人脸照片,3000对属于不同的人每人1张人脸照片。测试过程LFW给出一对照片,询问测试中的系统两张照片是不是同一个人,系统给出“是”或“否”的答案。通过6000对人脸测试结果的系统答案与真实答案的比值可以得到人脸识别准确率。

FDDB(人脸检测数据集)

无约束自然场景人脸检测数据集,该数据集包含在从各个不同自然场景不面孔拍摄的2845幅图像中的5171个人脸。每个人脸都有其规定的坐标位置。



FDDB数据集主要测试人脸检测的准确率,人脸识别算法需要在该数据集每张图像上进行人脸检测,对检测到的人脸进行位置标定。然后根据数据集本身给出的正确答案计算正确检出人脸数与误检人脸数而评判人脸检测算法的好坏。


FDDB和LFW测试说明

1、对于FDDB的人脸检出率能够超过90%,LFW的人脸识别准确率能够超过99%的公司和研究机构,仅表明具有一定的人脸识别算法基础,但完全不能体现出算法的真实水平;



2、随着深度学习技术与人脸识别技术的进一步结合,数据库测试的成绩完全可以通过对应数据针对性学习与超算集群硬件堆砌,反复验证,达到满分。(LFW已经在2015年被刷到满分99.77%)



3、即使在FDDB与LFW数据库上将识别率都刷到满分,也并不能证明该人脸识别技术能够在实际应用场景中使用,实际应用场景与数据库数据有天差地壤的区别,就像是纸上谈兵与打仗的区别;



FDDB和LFW测试与实际应用的差异



FDDB和LFW图片示例:

公安实战图片示例:


FDDB和LFW刷分心得

1、依靠超大规模的互联网人脸数据(FDDB和LFW的数据库图片源来自互联网);


2、依靠超高性能的超算集群与GPU集群训练深度网络(减小人脸识别深度算法训练时间和经验错误);


3、依靠不同深度、复杂度的深度学习模型叠加。(对某些深度算法的错误数据用另一类深度算法弥补纠错)。


4、在已知测试数据和标准答案的情况下,针对性学习与训练;(反复针对性优化)



最后,再强调一遍,LFW与FDDB是题库性质的测试,最主要的作用是测试一套系统能不能达到基本的人脸识别能力。也就是说,如果所有的人脸识别系统都是3岁小孩,LFW就是用来测试这些小孩够不够上幼儿园的智力水平测试。为什么说它是题库,就是因为这6000组网络样本——6000张照片,是固定的。任何一个系统都可以对这6000组样本进行有针对性的优化,从而达到刷高分的效果。

编辑于 2018-11-19

文章被以下专栏收录