从人脸识别 到 行人重识别，下一个风口
人脸识别在LFW超越人的识别能力之后，就很少有重大的突破了，逐渐转向视频中人脸识别或人脸属性学习等方向。CV顶级会议的接受论文量也出现了逐渐平稳的趋势。
而行人重识别（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。 给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合 ，可广泛应用于智能视频监控、智能安保等领域。
行人重识别为国内现在主要的研究方向之一，投稿量则在逐年递增。国内主要为 清华大学，北京大学，复旦大学，大工，中山大学，港中文，华科，西交，中科院，厦大等研究机构；国外为 悉尼科技，QMUL和UTSA等。行人重识别CV顶级会议的接受论文量稳步提升。
- 首先让我们从顶级会议录取量的角度分析
- 人脸识别论文数量 （按关键字检索 “face recognition“,"face verification"）
CVPR2013: 9
ICCV2013: 11
CVPR2014: 7
CVPR2015: 8
ICCV2015: 2
CVPR2016: 5
CVPR2017: 6
ICCV2017: 8
- 行人重识别论文数量 (按关键字检索 “person re-identification”,"person search","person retrieval"，"pedestrian retrieval")
CVPR2013: 1
ICCV2013: 3
CVPR2014: 3
CVPR2015: 7
ICCV2015: 8
CVPR2016: 11
CVPR2017: 14
ICCV2017: 16
2. 行人重识别 和 人脸识别 的异同
- 行人重识别 是用一个摄像头下的照片 去认其他摄像头下是否再次出现了这个人。需处理摄像头的viewpoint变化，行人的姿态变化等。
- 人脸识别 是给定pair，去识别是不是同一个人，或者找到照片库中见过的人。
- 行人和人脸一样具有结构，但行人结构更复杂一些，部件更多，不容易对齐。
- 大型行人数据集难以获得，不像人脸可以扒名人。现有行人重识别数据集（DukeMTMC-reID，CUHK03，Market-1501等等）都是在校园中实际用摄像头录的。而早期的小数据集(Viper等)已无法提供全面评估，逐渐少用。
- 行人重识别落地的产品很少， 而人脸识别的大量应用已经落地 ？？
- 之前学界研究的少 多摄像头/跨摄像头问题
以上 是造成行人重识别 在学界火的原因吧。
3. 行人重识别常用 Large-scale 数据集
- DukeMTMC-reID
该数据集在杜克大学内采集，图像来自8个不同摄像头。该数据集提供训练集和测试集。 训练集包含16,522张图像，测试集包含 17,661 张图像。训练数据中一共有702人，平均每类（每个人）有23.5 张训练数据。是目前最大的行人重识别数据集，并且提供了行人属性（性别/长短袖/是否背包等）的标注。
- Market-1501
该数据集在清华大学校园中采集，图像来自6个不同的摄像头，其中有一个摄像头为低像素。同时该数据集提供训练集和测试集。 训练集包含12,936张图像，测试集包含19,732 张图像。图像由检测器自动检测并切割，包含一些检测误差（接近实际使用情况）。训练数据中一共有751人，测试集中有750人。所以在训练集中，平均每类（每个人）有17.2张训练数据。
- CUHK03
该数据集在香港中文大学内采集，图像来自2个不同摄像头。该数据集提供 机器检测和手工检测两个数据集。 其中检测数据集包含一些检测误差，更接近实际情况。平均每个人有9.6张训练数据。
4. 未来可能拓展的研究课题
- Transfer learning。 在LFW上学好的人脸模型，在实际中可能不work。在行人重识别也有同样的问题。 如研究在 数据集 Market-1501（夏季清华国人）上训练好的模型，怎么应用到另一个数据集 DukeMTMC-reID（冬季杜克老外）
- 像人脸一样。 往属性学习/视频base的行人重识别转。
- 做更大更难的检索库，比如Market-1501 + 500K（更多干扰的候选行人）。
- 语言检索行人。通过自然语言的描述来找人。
行人特征聚类可视化来自[1]
[1] Zheng Z, Zheng L, Yang Y. A discriminatively learned cnn embedding for person re-identification arXiv preprint arXiv:1611.05666, 2016.
更多相关文章：
知乎专栏：行人重识别
