港中文-商汤OpenMMLab开源全景图!
OpenMMLab 为香港中文大学-商汤科技联合实验室 MMLab 开源的算法平台,不到两年时间,已经包含众多 SOTA 计算机视觉算法。
OpenMMLab 在Github上不是一个单独项目,除了大家所熟知的 Github 上万 star 目标检测库 MMDetection,还有其他方向的代码库和数据集,非常值得从事计算机视觉研发的朋友关注。
近期 OpenMMLab 进行了密集更新,新增了多个库,官方称涉及超过 10 个研究方向,开放超过 100 种算法和 600 种预训练模型,目前Github总星标超过 1.7 万。是CV方向系统性较强、社区活跃的开源平台。
这些库大部分都基于深度学习 PyTorch 框架,算法紧跟前沿,方便易用,文档较为丰富,无论对于研究还是工程开发的朋友都很值得了解。
项目主页:
本文带领大家细数各个代码库,相信总有一款适合你!
MMCV
MMCV是用于计算机视觉研究的基础Python库,支持OpenMMLab旗下其他开源库。
Github | https://github.com/open-mmlab/mmcv
主要功能是I/O、图像视频处理、标注可视化、各种CNN架构、各类CUDA操作算子。
MMDetection
MMDetection是基于PyTorch的开源目标检测工具箱。是OpenMMLab最知名的开源库,几乎是研究目标检测必备!
主要特点:
- 模块化设计
- 支持开箱即用的多方法
- 高效率
- SOTA
demo:
Github | https://github.com/open-mmlab/mmdetection
主持的主干网:
- ResNet
- ResNeXt
- VGG
- HRNet
- RegNet
- Res2Net
支持的算法:
- RPN
- Fast R-CNN
- Faster R-CNN
- Mask R-CNN
- Cascade R-CNN
- Cascade Mask R-CNN
- SSD
- RetinaNet
- GHM
- Mask Scoring R-CNN
- Double-Head R-CNN
- Hybrid Task Cascade
- Libra R-CNN
- Guided Anchoring
- FCOS
- RepPoints
- Foveabox
- FreeAnchor
- NAS-FPN
- ATSS
- FSAF
- PAFPN
- Dynamic R-CNN
- PointRend
- CARAFE
- DCNv2
- Group Normalization
- Weight Standardization
- OHEM
- Soft-NMS
- Generalized Attention
- GCNet
- Mixed Precision (FP16) Training
- InstaBoost
- GRoIE
- DetectoRS
- Generalized Focal Loss
论文盘点 | CVPR 2020 -目标检测篇
MMDetection3D
从CVPR2020 中也可以看出3D目标检测研究异常火热,该库是专门用于3D目标检测的开源库。
主要特点:
- 支持开箱即用的多模态/单模态检测器
- 支持开箱即用的室内/室外检测器
- 与2D目标检测自然融合
- 高效率
demo:
Github | https://github.com/open-mmlab/mmdetection3d
论文盘点 | CVPR 2020 -目标检测篇
MMSegmentation
MMSegmentation是一个基于PyTorch的开源语义分割工具箱.
主要特点:
- 统一基准
- 模块化设计
- 支持开箱即用的多方法
- 高效率
demo:
Github | https://github.com/open-mmlab/mmsegmentation
支持的骨干网:
- ResNet
- ResNeXt
- HRNet
支持的算法:
- FCN
- PSPNet
- DeepLabV3
- PSANet
- DeepLabV3+
- UPerNet
- NonLocal Net
- EncNet
- CCNet
- DANet
- GCNet
- ANN
- OCRNet
论文盘点 | CVPR 2020 -语义分割篇
MMClassification
MMClassification是基于PyTorch的开源图像分类工具箱。
主要特点:
- 各种骨干与预训练模型
- Bag of training tricks
- 大规模训练配置
- 高效率与可扩展性
Github | https://github.com/open-mmlab/mmclassification
支持的骨干网:
- ResNet
- ResNeXt
- SE-ResNet
- SE-ResNeXt
- RegNet
- ShuffleNetV1
- ShuffleNetV2
- MobileNetV2
- MobileNetV3
MMPose
MMPose是一个基于PyTorch的开源姿势估计工具箱。
demo:
Github | https://github.com/open-mmlab/mmpose
论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇
MMAction
MMAction是一个基于PyTorch开放源代码的工具箱,用于动作理解。
主要特点:
- 可以解决以下任务
- 从剪辑视频中进行动作识别
- 未剪辑视频中的时序动作检测(也称为动作定位)
- 未剪辑视频中的时空动作检测。
- 支持各种数据集
- 支持多动作理解框架
- 模块化设计
Github | https://github.com/open-mmlab/mmaction
论文盘点 | CVPR 2020 -动作识别篇
MMAction2
MMAction2是一个基于PyTorch开放源代码的工具箱,用于动作理解。
主要特点:
- 模块化设计
- 支持多种数据集
- 支持多重动作理解框架
- 完善的测试和记录
MMAction2比MMAction支持的算法更多,速度更快,开发者也更活跃。
demo:
Github | https://github.com/open-mmlab/mmaction2
支持的动作识别算法:
- TSN
- TSM
- R(2+1)D
- I3D
- SlowOnly
- SlowFast
支持的动作定位算法:
- BMN
- BSN
论文盘点 | CVPR 2020 -动作识别篇
MMSkeleton
MMSkeleton
用于人体姿势估计,基于骨架的动作识别和动作合成。
特点:
- 高扩展性
- 多任务
demo:
Github | https://github.com/open-mmlab/mmskeleton
论文盘点 | CVPR 2020 -动作识别篇
论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇
MMFashion
MMFashion是一个基于PyTorch的开源视觉时尚分析工具箱。
特点:
- 灵活:模块化设计,易于扩展
- 友好:外行用户的现成模型
- 全面:支持各种时装分析任务
demo:
Github | https://github.com/open-mmlab/mmfashion
支持应用:
- 服饰属性预测
- 服饰识别与检索
- 服饰特征点检测
- 服饰解析和分割
- 服饰搭配推荐
相关解读 | 当时尚遇上AI!港中文MMLab开源MMFashion工具箱
相关解读 | 研究CV、研究美,MMFashion开源库升级~
MMEditing
MMEditing是基于PyTorch的开源图像和视频编辑工具箱主要特点:
- 模块化设计
- 在编辑中支持多任务
- SOTA
demo:
Github | https://github.com/open-mmlab/mmediting
论文盘点 | CVPR 2020 -抠图Matting篇
论文盘点 | CVPR 2020 -图像质量评价篇
论文盘点 | CVPR 2020 -去雨去雾去模糊篇
论文盘点 | CVPR 2020 -图像修复Inpainting篇
论文盘点 | CVPR 2020 -图像增强与图像恢复篇
OpenPCDet
OpenPCDet 是一个清晰,简单,自成体系的开源项目,用于基于LiDAR的3D目标检测。
设计模式:
Github | https://github.com/open-mmlab/OpenPCDet
支持一阶段和两阶段的3D目标检测框架、多机多卡分布式训练和测试、ATSS等。
论文盘点 | CVPR 2020 -目标检测篇
OpenUnReID
OpenUnReID是研究用于目标重识别的无监督学习和无监督域适应的开源库,基于PyTorch实现。主要特点:
- 多机多卡分布式训练和测试
- 支持数据集、骨干网、损失函数高度灵活的结合
- 高速的基于GPU的伪标签生成和k-reciprocal重排序方法
- 即插即用的适用任何骨干网的批规范化方法:BatchNorms、sync BN
- 强大的基线实现
- 目前目标重识别领域无监督学习和域适应的众多SOTA算法
支持算法:
Github | https://github.com/open-mmlab/OpenUnReID
OpenSelfSup
OpenSelfSup是基于PyTorch的无监督表示学习工具箱
主要特点:
- 方法众多
- 灵活可扩展
- 高效
- 算法比较评测简单
包含算法:
其中BYOL刚出来没多久!