単一画像の全体的な理解と3D再構成を実行することは、コンピュータービジョンの中心的なタスクです。この論文では、単一のRGB画像から屋内および屋外のシーンの高密度シーンラベリング、オブジェクト検出、インスタンスセグメンテーション、深度推定、3D形状再構成、および3Dレイアウト推定を実行する統合システムを紹介します。 3D再構成によるパノプティコンセグメンテーション(「もの」セグメンテーションおよび「モノ」検出/セグメンテーション)が実行されるシステムパノプティコン3D解析(Panoptic3D)と名付けます。注釈の完全なセットが存在しない段階的システム、Panoptic3D(段階的)を設計します。さらに、アノテーションのフルセットを備えた合成データセットでトレーニングされたエンドツーエンドのパイプライン、Panoptic3D(エンドツーエンド)を紹介します。屋内(3D-FRONT)と屋外(COCOと都市の景観)の両方のシーンで結果を表示します。私たちが提案するパノプティコン3D解析フレームワークは、コンピュータービジョンの有望な方向性を示しています。 Panoptic3Dは、自動運転、マッピング、ロボット工学、設計、コンピューターグラフィックス、ロボット工学、人間とコンピューターの相互作用、拡張現実など、さまざまなアプリケーションに適用できます。
Performing single image holistic understanding and 3D reconstruction is a central task in computer vision. This paper presents an integrated system that performs dense scene labeling, object detection, instance segmentation, depth estimation, 3D shape reconstruction, and 3D layout estimation for indoor and outdoor scenes from a single RGB image. We name our system panoptic 3D parsing (Panoptic3D) in which panoptic segmentation ("stuff" segmentation and "things" detection/segmentation) with 3D reconstruction is performed. We design a stage-wise system, Panoptic3D (stage-wise), where a complete set of annotations is absent. Additionally, we present an end-to-end pipeline, Panoptic3D (end-to-end), trained on a synthetic dataset with a full set of annotations. We show results on both indoor (3D-FRONT) and outdoor (COCO and Cityscapes) scenes. Our proposed panoptic 3D parsing framework points to a promising direction in computer vision. Panoptic3D can be applied to a variety of applications, including autonomous driving, mapping, robotics, design, computer graphics, robotics, human-computer interaction, and augmented reality.