重磅,最强重识别工具箱FastReID开源,附带多种SOTA模型

今日,京东 AI 研究院在 Arxiv 发布了一篇论文 FastReID: A Pytorch Toolbox for Real-world Person Re-identification,同时,作者也在Github开源了FastReID框架,短短几天,该 Repo 已经拥有了600+star。
本文首发于: AIZOO 公众号,欢迎大家关注 AIZOO

京东 AI 研究院今天发布了一篇关于FastReID开源框架的论文,同时,京东研究院也把该框架在Github开源了。FastReID 是一个 SOTA 级的 ReID 方法集合工具箱(SOTA ReID Methods and Toolbox),同时面向学术界和工业界落地,此外该团队还发布了在多个不同任务、多种数据集上的SOTA模型

另外,作者宣称这是迄今为止最完整的、最高性能的ReID工具箱,支持单卡和多GPU训练,使用简单方便。

先附上论文和代码链接:论文:arxiv.org/pdf/2006.0263代码:github.com/JDAI-CV/fast作者知乎博文:zhuanlan.zhihu.com/p/14

为方便大家获取论文和代码,大家只需在 AIZOO 公号回复reid即可获取 Github 代码和论文。

1. ReID介绍

ReID 全称 Re-identification,也就是重识别的意思。近几年该领域最火的一个方向是行人重识别(Person ReID),不像人脸识别只使用面部特征,行人重识别是利用一个人的整体特征来识别一个人,其经常被作为人脸识别的一个补充。

下图是行人重识别任务的简单示意图,也就是输入一个人的全身像,算法可以在大量的行人中找出该人的所有图像。该任务跟人脸识别任务基本相同,都属于度量学习(metric learning)的范畴。

当然,ReID 不仅限于行人,也可以检索车辆等其他物体。

FastReID中实现的四大ReID任务:

    • 行人重识别
    • 部分区域的行人重识别
    • 跨域的行人重识别
    • 车辆的重识别

其中,部分区域的行人重识别,也就是人体只有部分可见,例如只有上半身;跨域的行人重识别,也就是在一个有标注的数据集上训练,适配到另外一个无标注的数据集上。

FastReID的五大优势:

1. 模块化和可拓展化

2. 灵活的配置

3. 丰富的评估指标

4. 工程部署非常方便

5. SOTA的预训练模型

FastReID 参照了 Detectron2 的整体概念和设计哲学,设计成了一个高度模块化和可拓展的架构,从而可以让研究人员快速的实现新的 idea ;更重要的是,该框架友好的管理系统配置和工程部署函数可以让工程师快速的部署它。作者提供了 PyTorch 模型转 Caffe、ONNX 和 TensorRT 的例子和脚本。

2 FastReID架构

FastReID 的整体由图像预处理、主干网络、特征集成网络头四大部分组成。整体架构如下图所示:

值得注意的是,在数据预处理中,FastReID 使用了 Auto-augment 操作,也就是 automl 中的技巧,使用该技巧去实现有效的数据增强,提高特征的鲁棒性。

在 Backbone 中,作者实现了 ResNet、ResNeXt 和 ResNeSt 三大主流特征提取模型。而在特征集成部分,则实现了最大池化、平均池化、Gem 池化和 Attention 池化四种池化操作。

另外作者实现了四种常见的loss,包括:

  • 交叉熵损失
  • Arcface loss
  • Circle loss,旷视今年提出的
  • Triplet loss

在训练时候,作者使用了当今流行的热身训练法(warm up)、余弦衰减(consine decay)等策略。

3. 部署

FastReID 良心之处在于,它很好的考虑了部署问题。一般来说,模型越大,性能越强。但是大模型在边缘设备上很耗时,有些层在设备上也没有实现,为了解决这个问题,FastReID还实现了蒸馏学习

蒸馏学习,简单来说,就是让实力强悍的大模型作为老师,去教结构简单的学生模型。这里大模型结构复杂,模型很深,各种tricks全加满;而小模型却很浅,结构也简单。蒸馏的目的,就是让学生模型的输出,去逼近老师模型,以使小模型能达到大模型的泛化能力。

4.性能

在行人重识别上,在三大主流数据集上,FastReID达到了SOTA的结果(哎,天天各种SOTA眼花缭乱,不过这个 SOTA 我信了)。


而在跨域的行人重识别以及部分区域的行人重识别上,FastReID也达到了无监督的最好结果。

在车辆重识别上,当然,也 SOTA 了。好多 SOTA 啊!为避免图表太多,这里就不放各种SOTA图了,反正全 SOTA 了。有需要的朋友可以去看看论文,见识一下各个任务都 SOTA 的效果。

0 5.总结

作者在结尾部分说的很赞:我们开源FastReID,是因为开源研究成果对 AI 领域的快速发展起到了至关重要的作用,这些进展来自学术界和工业界的共同努力。作者希望FastReID的发布,可以加速ReID领域的进展,与大家共同协作学习,推动计算机视觉领域的进步

作者这段话说的真是朴实,假如没有 Caffe、TensorFlow和PyTorch的框架开源,整个深度学习圈的进展估计都要延缓好几年,因此,向这些为社区贡献优秀开源框架和代码的工程师致敬,感谢你们!

本文完,大家可以在公号回复reid获取论文和代码。谢谢大家~



精彩推荐

2020年代,中国AI创业公司将走向何方

都2020年了,在校学生还值得继续转行搞AI吗

AIZOO开源人脸口罩检测数据+模型+代码+在线网页体验,通通都开源了

AIZOO决定免费为大家训练模型,快联系小助手元峰吧

发布于 06-05

文章被以下专栏收录

    分享人工智能的技术和资讯,另外,我也做了一个网站AIZOO.com,欢迎大家去在线体验好玩的人工智能算法。