セマンティックシーンコンプリーション(SSC)は、ロボット工学から支援コンピューティングまで、多くの実用的なアプリケーションを備えた挑戦的なコンピュータービジョンタスクです。その目標は、シーンの視野内の3Dジオメトリと、遮蔽された領域を含むボクセルのセマンティックラベルを推測することです。この作業では、RGB-D画像の深度コンポーネントからの構造データをバイモーダル2Dセグメンテーションネットワークからのセマンティックプライアとシームレスに融合する、新しい軽量マルチモーダル3DディープCNNであるSPAwNを紹介します。この分野での重大な問題は、現在のデータを大量に消費するディープ3DCNNをトレーニングするのに十分な大きさの完全にラベル付けされた実世界の3Dデータセットがないことです。 2Dコンピュータビジョンタスクでは、CNNの一般化能力を向上させるために多くのデータ拡張戦略が提案されています。ただし、これらのアプローチは、SSCソリューションのRGB-D入力および出力ボリュームに直接適用することはできません。このホワイトペーパーでは、マルチモーダルSSCネットワークに適用できる3Dデータ拡張戦略の使用について紹介します。包括的で再現性のあるアブレーション研究により、貢献を検証します。私たちのソリューションは、同じレベルの複雑さで以前の作品を一貫して上回っています。
Semantic scene completion (SSC) is a challenging Computer Vision task with many practical applications, from robotics to assistive computing. Its goal is to infer the 3D geometry in a field of view of a scene and the semantic labels of voxels, including occluded regions. In this work, we present SPAwN, a novel lightweight multimodal 3D deep CNN that seamlessly fuses structural data from the depth component of RGB-D images with semantic priors from a bimodal 2D segmentation network. A crucial difficulty in this field is the lack of fully labeled real-world 3D datasets which are large enough to train the current data-hungry deep 3D CNNs. In 2D computer vision tasks, many data augmentation strategies have been proposed to improve the generalization ability of CNNs. However those approaches cannot be directly applied to the RGB-D input and output volume of SSC solutions. In this paper, we introduce the use of a 3D data augmentation strategy that can be applied to multimodal SSC networks. We validate our contributions with a comprehensive and reproducible ablation study. Our solution consistently surpasses previous works with a similar level of complexity.