(ICIP2019)图像语义分割(24) ACNet-使用注意力网络的RGBD图像语义分割方法

(ICIP2019)图像语义分割(24) ACNet-使用注意力网络的RGBD图像语义分割方法

论文《ACNet: Attention Based Network to Exploit Complementary Features for RGBD Semantic Segmentation》已经被ICIP2019(2019 IEEE International Conference on Image Processing)接收,论文提出了一种全新的方法,基于时下流行的注意力机制,用于室内场景下的RGBD图像语义分割——通过利用图像深度信息,获得更好的语义分割效果,在包含40个类别的复杂室内场景通用数据集NYUDv2上取得了SOTA效果,mIoU达到了48.3%,论文主要的贡献在于注意力辅助模块和三平行分支的网络架构。


原文链接:ICIP 2019 开源论文 | 基于注意力网络的RGBD图像语义分割方法

论文地址:arxiv.org/abs/1905.1008

工程链接:github.com/anheidelongh


1.背景

当下图像语义分割的研究多关注室外场景,为自动驾驶等任务提供支持,而关注室内场景的研究较少,室内场景图像中目标亮度不均且在空间上存在较多的重叠,使用RGBD图像相较于RGB图像,能够取得较好的分割效果,RGBD图像即RGB图像和深度(Depth)图像的结合,包括RGB三个通道和一个代表像素点与相机距离的深度通道共四个通道。已有的RGBD图像语义分割方法有两种思路:一是利用两个编码器分别从RGB图像和深度图像中提取特征,结合之后进行上采样;二是在下采样阶段直接将两个特征融合处理。前者不能将两种特征充分融合,后者没有考虑两种特征对最终结果的贡献程度,对于RGB图像信息和深度图像信息可能不充分对等的RGBD图像中,都不能取得较好的效果。为此论文提出了集成注意力机制的三平行分支架构的语义分割网络ACNet,在通用数据集NYUDv2上取得了SOAT效果。

2.ACNet

ACNet网络架构如下图所示:


两个基于ResNet的独立分支分别用于RGB图像和深度图像的特征提取,根据每一层特征所包含的信息量设计的多个注意力辅助模块(ACM,Attention Complementary Modules)来平衡特征的分布,使网络更加关注图像的有效区域,一个同样基于ResNet的独立分支用于融合RGB特征和深度特征,最后经过多次上采样得到分割结果。ACNet在保持原始RGBD特征流的同时充分利用了融合后的特征,最后分几步进行上采样,下面具体来看。

2.1 注意力辅助模块-ACM



如上图所示,室内场景下的RGBD图像中,RGB图像和深度图像的特征分布完全不同,为了使网络专注于目标的有效区域,论文设计了多个注意力辅助模块ACMs,单个ACM结构如下图所示:


2.2 特征融合架构

为了过早或过晚融合RGB特征和深度特征,ACNet设计的第三个独立分支逐阶段的进行特征融合,充分利用浅层和深层的特征,不仅保留了两个独立分支的特征信息,还能有效利用融合特征。

3. 实验

3.1 ACM的分析

以layer2时的特征图为例,可视化如下图所示,


不同阶段的ACM得到的权重分布:


3.2 实验结果

NYUDv2和SUN-RGBD测试集:


4. 总结

论文提出用于室内场景下RGBD图像语义分割网络ACNet,三分支架构和注意力辅助模块较好的平衡了RGBD图像中RGB图像特征和深度图像特征,并充分利用了二者的融合形式,共同作用于最终分割结果,最终在NYUDv2和SUN-RGBD数据集上都取得了SOAT效果。论文最后指出未来的研究方向为分割的实时性和闭环检测。



欢迎关注 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读,算法和其他互联网技能的学习,概率论、线性代数等高等数学知识的回顾]

编辑于 2019-09-24

文章被以下专栏收录