首发于SIGAI
3D实例分割

3D实例分割

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。

本文PDF全文链接:3D实例分割

本文作者:岳麓青年

3D实例分割

3D语义分割区分场景中各类对象,3D实例分割区分场景中各类别中的各种个体。近两年来,3D实例分割的关注度越来越高,相应的方法也被接连提出。众多方法的思想主要分为两类:基于候选区域的实例分割(proposal-based)和免候选区域的实例分割(proposal-free)。其中,proposal-based先获取场景中的感兴趣的候选区域,如:3D bounding boxes等,并在候选区域内对3D数据进一步预测得到实例标签。考虑到proposal-based 实例分割通常需要2个过程(先得到候选区域,再实例分割),分割过程繁琐,则proposal-free则摒弃了基于候选区域的方式,直接通过数据特征或者结合语义分割结果,得到实例分割结果。下面根据这两个方向总结现有的实例分割方法。

(一) proposal-based

[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi


本文思路:先通过GSPN得到目标候选区域(object proposal),在利用R-PointNet 细化proposal得到实例分割结果。

本文创新点:GSP&R-PointNet

介绍:一种得到候选区域的办法就是简单估计物体的近似几何形状,比如3D bounding boxes,但是bounding boxes不太需要对底层对象的几何结构有很强的的理解,这可能导致boxes中包含了多物体或者单个物体的部分,本文采用analysis-by-synthesis策略,从含有噪音的场景中重建出外形得到 object proposals。另外,R-PointNet很像2D图像领域的Mask-RCNN,包含了候选区域提取和候选区域分类, R-PointNet能直接处理点云数据并给予目标候选区域得到实例标签。

[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang


本文思路:通过计算点云的相似矩阵(similarity matrix)和对应的置信值(confidence map)得到候选区域(group proposals),并结合语义分割结果得到实例标签

创新点:新的候选区域方法(similarity matrix + confidence map)

介绍:本网络利用PointNet/PointNet++来提取点云的特征,然后在这些点云特征上操作分类,后端有三个模块:similarity matrix, confidence map 和sematic map,三者的作用不用。其中,similarity matrix 的作用是计算group proposals 直接获取精确的实例分割结果,confidence map即置信区间,加入置信值,起到优化的作用;semantic map 的作用是充当逐点分类器的作用。

[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou


本文思路:先目标检测得到proposal,再在propoasl中mask prediction得到实例分割结果

创新点:结合了2D和3D数据的特征,框架新颖。

介绍:本文思想比较简单。通过神经网络学习RGB和点云特征(这里的点云是通过RGBD中的深度信息恢复得到,并不是雷达点云),将通过2D卷积网络提取得到2D特征,反投影到对应的3D场景网格上,2D和3D特征的融合能够很大程度上提高proposal 获取的精度。在proposal中进一步预测得到实例标签。

[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang


本文思路:先获bounding box,再mask prediction

创新点:计算效率高

介绍: 本文提出了3D-BoNet网络,遵循了逐点的多层感知机的简单基本原理,该网络对所有实例个体进行3D bounding box的回归, 同时对每个实例个体的点云进行逐点mask预测。本网络包括两个并行的网络,1)边界框回归和2)点云mask预测。亮点就是计算效率高,不需要任何的后处理过程。(这个论文思想就是站在巨人肩膀上,利用现有网络得到全局和局部特征,后续的的proposal和prediction就很简单了)

(二) proposal-free

[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud


本文思路:直接获得数据的特征,直接实例分割

创新点:一种可获取数据的两种主要特征的算法

介绍: 不像传统的实例分割方法的思想:用语义标签提升实例标签。本文的技术通过聚类方法专注于实例标签。本网络将语义信息作为局部线索从中获得便利,另外将3D维度信息和3D联系纳入其中。本文的亮点在于提出了一种算法,该算法可以直接处理3D网格并学习得到两类主要的特征:针对每一个实例对象的独有的特征描述;指向实例对象中心的方向。(基于SSCNet这个网络框架改进的,大家可以重点关注一下这个网路,在ScanNet数据集中,SSCNet网路的语义分割结果评比第二)

[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang


本文思路:通过实例分割和语义分割相互提升分割精度

创新点:ASIS

介绍: 实际情况下,实例分割和语义分割的目的是不同的,前者在同一类中精确区分不同的个体,后者是将它们赋予同一个标签。 然而,两种任务之间是可以相互合作共赢的,语义分割将点云按不同类别区分,这仅仅是实例分割的一个目标(不同类别的点云一定属于不同个体的)。实例分割对同一实例个体赋予同一标签,这与语义分割是保持一致的(同一个体的点云一定属于同一类别)。本文利用这层关系实现两种任务的共赢。并设计了ASIS模块,实现精度的相互提升。

[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham

本文思路:通过网络获取语义标签和实例标签,通过后续优化融合两种标签,达到共赢(和上文的不同在于,一个在前端融合,一个在后端融合)

创新点:MT-PNet+MV-CRF

介绍: 本文提出了一种多任务逐点处理的网络,同时实现两种任务:预测点云的语义类别;将点云转换为高维向量,致使相同实例的点云有着近似的表达。另外,本文提出了多值条件随机场去协调语义和实例标签。(语义分割和实例分割,这两个问题通常被单独处理,实例分割是语义分割的后续处理步骤,然而,两者之间是相互作用的,对于实例分割,实例的外形和容貌特征提取有助于区分物体种类,另一方面,不同类别的点云是不可能属于同一个实例的。这篇文章和上面有一篇论文很像。)

[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu


本文思路:基于语义分割结果,实现实例分割

创新点:多尺度的数据的关联性预测

介绍: 文章利用U-Net和submanifold sparse convolutions卷积处理整个室内场景点云,对每个点类别预测(语义分割)。另外,对不同尺度下相邻体素之间的关联性预测,结合语义标签,利用简单而有效的聚类算法得到点云的实例标签。

[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

本文思路:语义分割和实例分割结合

创新点:新颖的损失函数

介绍:利用SSCNet得到语义标签和实例标签,并在该网络后增加GCN网络,对实例分割结果细化。

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich

本文思路:语义分割和实例分割结合

创新点:2D和3D结合

介绍: 本文的有点在于展现了2D和3D结合的网络框架用于联合语义和实例分割;同时展现了如何实现规则的2D特征和不规则的3D点云特征的融合。

注:补充网络(来源于ScanNet)

Occipital-SCS:

DPC-instance

Seg-cluster

MaskRCNN proj.

参考文献

Proposal-based

[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.

[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.

[3] Hou J , Dai A , Nießner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.

[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.

Proposal-free

[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.

[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.

[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.

[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.

[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.

[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird's-Eye-View Instance Segmentation[J]. 2019

发布于 2019-09-03

文章被以下专栏收录