Structured3D Dataset | 如何用以假乱真的合成数据帮助机器理解三维结构

Structured3D Dataset | 如何用以假乱真的合成数据帮助机器理解三维结构

本文是对ECCV 2020论文《Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling》的解读,该论文由酷家乐、上海科技大学和宾夕法尼亚州立大学合作完成。研究者基于酷家乐海量的室内设计解决方案,并结合程序自动提取的房间结构,构建了富有三维结构标注的数据集。同时基于该数据集,研究者使得人工智能可以自动从二维图像中提取房间的三维布局等结构信息。

项目主页论文补充材料可视化工具室内房间布局竞赛

前言

在计算机视觉领域,全局、结构化的3D重建在近些年受到越来越多的关注。它能对场景提供更简洁而鲁棒的恢复与理解,在不同行业有许多潜在应用。这些结构(如下图所示)包含平面、线框、立方体、房间布局、房屋平面图、三维线框图和立方体的抽象表达等。

由于近年来数据驱动的方法如深度学习的迅猛发展,大规模高质量的数据显得尤为重要。然而由于标注成本高昂,之前的工作大多只标注自己感兴趣的结构,并且数据集的规模都比较小;另外,人工标注的质量也良莠不齐。以全景图的房间布局任务(room layout estimation)为例,目前常用的真实场景数据集如PanoContext和Stanford-2D-3D分别只含有几百张图片,并且均假设房间结构为立方体模型(即房间由六面墙构成,且墙与墙之间相互垂直)。所以,如何利用合成数据来自动生成大规模标注引起了研究人员的兴趣。

Structured3D Dataset

室内设计模型对比:(a)为酷家乐的模型,(b)为SUNCG的模型。

我们基于酷家乐专业的室内设计解决方案,如上图(a)所示。我们利用机器自动提取房间结构,包括: 线段(line segment)、交点(junction)、平面(plane)这些型元(primitive),和他们之间的关系(relationship),满足立方体(cuboid)和曼哈顿世界假设(Manhattan-world assumption)的平面集合,如下图所示。

我们选取了3500个不同场景,共计20k房间。我们利用酷家乐真实的渲染引擎,得到近两百万图像,以及相应的3D结构化标注,包括不同的装修配置,不同的光照,深度图,语义图。

渲染图

我们统计了我们数据集房间布局的统计信息,如下表,可见我们数据集房间布局更具多样性。

下面几张图展示了数据集提供的房间布局标注,从上到下,墙体逐渐增多,布局也逐渐复杂。

至于渲染引擎的真实与否,大家可以猜猜看下图哪列图像是渲染生成的,答案请移步论文查找。

实验

我们利用全景图房间结构布局任务(Room Layout Estimation)来验证数据集的价值。我们利用开源的LayoutNet和HorizonNet算法,真实场景的数据集采用PanoContext和2D-3D-Stanford两个数据集。由于这些算法和现有真实场景的数据集对于房间结构布局的标注都基于立方体形状(Cuboid-shape)的假设——认为房间由六面墙构成,且墙与墙之间相互垂直,我们选择我们数据集中满足该假设的房间作为合成数据。

合成数据对算法性能的影响

在该实验中,我们使用LayoutNet和HorizonNet,并采用不同的训练策略:

  1. s:只在合成数据训练;
  2. r:只在真实数据训练;
  3. s->r:在合成数据预训练,再在真实数据微调(fine-tune);
  4. s+r:同时使用合成数据和真实数据训练。

实验表明,合成数据集能够提升算法在真实场景的性能。

合成数据规模对算法性能的影响

随后我们探索了合成数据的规模对于算法性能的影响,我们分别用1k/5k/10k的合成数据作为预训练的合成数据集。实验表明,用更多的数据一般情况能够提升算法的性能。

合成数据的领域自适应实验

近些年,研究者利用各种领域自适应技术来处理不同领域之间的差异,比如合成数据和真实场景之间的差异。在本文中,我们以LayoutNet网络为例,利用对抗训练来保持网络特征在不同领域的一致性。

总结

我们希望Structured3D数据集能对这个既传统又新兴的研究方向有推动作用,包括但不局限于通用房间布局(general room layout estimation,即不对房间布局有任何假设)和房屋平面图(floorplan estimation)等任务。


相关资源场景理解论文集ICCV 2019 Tutorial | Holistic 3D Workshop @ ECCV 2020 | Holistic 3D Challenge @ ECCV 2020

编辑于 07-06