港中文-商汤OpenMMLab开源全景图!

港中文-商汤OpenMMLab开源全景图!

OpenMMLab 为香港中文大学-商汤科技联合实验室 MMLab 开源的算法平台,不到两年时间,已经包含众多 SOTA 计算机视觉算法。

OpenMMLab 在Github上不是一个单独项目,除了大家所熟知的 Github 上万 star 目标检测库 MMDetection,还有其他方向的代码库和数据集,非常值得从事计算机视觉研发的朋友关注。

近期 OpenMMLab 进行了密集更新,新增了多个库,官方称涉及超过 10 个研究方向,开放超过 100 种算法和 600 种预训练模型,目前Github总星标超过 1.7 万。是CV方向系统性较强、社区活跃的开源平台。

这些库大部分都基于深度学习 PyTorch 框架,算法紧跟前沿,方便易用,文档较为丰富,无论对于研究还是工程开发的朋友都很值得了解。

项目主页:

openmmlab.org/

本文带领大家细数各个代码库,相信总有一款适合你!

MMCV



MMCV是用于计算机视觉研究的基础Python库,支持OpenMMLab旗下其他开源库。

Github | github.com/open-mmlab/m

主要功能是I/O、图像视频处理、标注可视化、各种CNN架构、各类CUDA操作算子。

MMDetection



MMDetection是基于PyTorch的开源目标检测工具箱。是OpenMMLab最知名的开源库,几乎是研究目标检测必备!

主要特点:

  • 模块化设计
  • 支持开箱即用的多方法
  • 高效率
  • SOTA

demo:



Github | github.com/open-mmlab/m

主持的主干网:

  • ResNet
  • ResNeXt
  • VGG
  • HRNet
  • RegNet
  • Res2Net

支持的算法:

  • RPN
  • Fast R-CNN
  • Faster R-CNN
  • Mask R-CNN
  • Cascade R-CNN
  • Cascade Mask R-CNN
  • SSD
  • RetinaNet
  • GHM
  • Mask Scoring R-CNN
  • Double-Head R-CNN
  • Hybrid Task Cascade
  • Libra R-CNN
  • Guided Anchoring
  • FCOS
  • RepPoints
  • Foveabox
  • FreeAnchor
  • NAS-FPN
  • ATSS
  • FSAF
  • PAFPN
  • Dynamic R-CNN
  • PointRend
  • CARAFE
  • DCNv2
  • Group Normalization
  • Weight Standardization
  • OHEM
  • Soft-NMS
  • Generalized Attention
  • GCNet
  • Mixed Precision (FP16) Training
  • InstaBoost
  • GRoIE
  • DetectoRS
  • Generalized Focal Loss

论文盘点 | CVPR 2020 -目标检测篇

MMDetection3D



从CVPR2020 中也可以看出3D目标检测研究异常火热,该库是专门用于3D目标检测的开源库。

主要特点:

  • 支持开箱即用的多模态/单模态检测器
  • 支持开箱即用的室内/室外检测器
  • 与2D目标检测自然融合
  • 高效率

demo:



Github | github.com/open-mmlab/m

论文盘点 | CVPR 2020 -目标检测篇

MMSegmentation



MMSegmentation是一个基于PyTorch的开源语义分割工具箱.

主要特点:

  • 统一基准
  • 模块化设计
  • 支持开箱即用的多方法
  • 高效率

demo:



Github | github.com/open-mmlab/m

支持的骨干网:

  • ResNet
  • ResNeXt
  • HRNet

支持的算法:

  • FCN
  • PSPNet
  • DeepLabV3
  • PSANet
  • DeepLabV3+
  • UPerNet
  • NonLocal Net
  • EncNet
  • CCNet
  • DANet
  • GCNet
  • ANN
  • OCRNet

论文盘点 | CVPR 2020 -语义分割篇

MMClassification



MMClassification是基于PyTorch的开源图像分类工具箱。

主要特点:

  • 各种骨干与预训练模型
  • Bag of training tricks
  • 大规模训练配置
  • 高效率与可扩展性



Github | github.com/open-mmlab/m

支持的骨干网:

  • ResNet
  • ResNeXt
  • SE-ResNet
  • SE-ResNeXt
  • RegNet
  • ShuffleNetV1
  • ShuffleNetV2
  • MobileNetV2
  • MobileNetV3

MMPose



MMPose是一个基于PyTorch的开源姿势估计工具箱。

demo:



Github | github.com/open-mmlab/m

论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇

MMAction

MMAction是一个基于PyTorch开放源代码的工具箱,用于动作理解。

主要特点:

  • 可以解决以下任务
  • 从剪辑视频中进行动作识别
  • 未剪辑视频中的时序动作检测(也称为动作定位)
  • 未剪辑视频中的时空动作检测。
  • 支持各种数据集
  • 支持多动作理解框架
  • 模块化设计

Github | github.com/open-mmlab/m

论文盘点 | CVPR 2020 -动作识别篇

MMAction2



MMAction2是一个基于PyTorch开放源代码的工具箱,用于动作理解。

主要特点:

  • 模块化设计
  • 支持多种数据集
  • 支持多重动作理解框架
  • 完善的测试和记录

MMAction2比MMAction支持的算法更多,速度更快,开发者也更活跃。

demo:



Github | github.com/open-mmlab/m

支持的动作识别算法:

  • TSN
  • TSM
  • R(2+1)D
  • I3D
  • SlowOnly
  • SlowFast

支持的动作定位算法:

  • BMN
  • BSN

论文盘点 | CVPR 2020 -动作识别篇

MMSkeleton

MMSkeleton

用于人体姿势估计,基于骨架的动作识别和动作合成。

特点:

  • 高扩展性
  • 多任务

demo:



Github | github.com/open-mmlab/m

论文盘点 | CVPR 2020 -动作识别篇

论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇

MMFashion



MMFashion是一个基于PyTorch的开源视觉时尚分析工具箱。

特点:

  • 灵活:模块化设计,易于扩展
  • 友好:外行用户的现成模型
  • 全面:支持各种时装分析任务

demo:





Github | github.com/open-mmlab/m

支持应用:

  • 服饰属性预测
  • 服饰识别与检索
  • 服饰特征点检测
  • 服饰解析和分割
  • 服饰搭配推荐

相关解读 | 当时尚遇上AI!港中文MMLab开源MMFashion工具箱

相关解读 | 研究CV、研究美,MMFashion开源库升级~

MMEditing



MMEditing是基于PyTorch的开源图像和视频编辑工具箱主要特点:

  • 模块化设计
  • 在编辑中支持多任务
  • SOTA

demo:



Github | github.com/open-mmlab/m

论文盘点 | CVPR 2020 -抠图Matting篇

论文盘点 | CVPR 2020 -图像质量评价篇

论文盘点 | CVPR 2020 -去雨去雾去模糊篇

论文盘点 | CVPR 2020 -图像修复Inpainting篇

论文盘点 | CVPR 2020 -图像增强与图像恢复篇

OpenPCDet

OpenPCDet 是一个清晰,简单,自成体系的开源项目,用于基于LiDAR的3D目标检测。

设计模式:





Github | github.com/open-mmlab/O
支持一阶段和两阶段的3D目标检测框架、多机多卡分布式训练和测试、ATSS等。

论文盘点 | CVPR 2020 -目标检测篇

OpenUnReID

OpenUnReID是研究用于目标重识别的无监督学习和无监督域适应的开源库,基于PyTorch实现。主要特点:

  • 多机多卡分布式训练和测试
  • 支持数据集、骨干网、损失函数高度灵活的结合
  • 高速的基于GPU的伪标签生成和k-reciprocal重排序方法
  • 即插即用的适用任何骨干网的批规范化方法:BatchNorms、sync BN
  • 强大的基线实现
  • 目前目标重识别领域无监督学习和域适应的众多SOTA算法

支持算法:



Github | github.com/open-mmlab/O

OpenSelfSup

OpenSelfSup是基于PyTorch的无监督表示学习工具箱



主要特点:

  • 方法众多
  • 灵活可扩展
  • 高效
  • 算法比较评测简单

包含算法:



其中BYOL刚出来没多久!

Github | github.com/open-mmlab/O

相关解读 | OpenSelfSup: Open-MMLab自监督表征学习代码库

编辑于 2020-07-20 11:04