360パノラマからレイアウトを予測するための最近のアプローチは、優れた結果を生み出します。これらのアプローチは、エッジベースの位置合わせに基づく前処理ステップ、レイアウト要素の予測、および3Dレイアウトをレイアウト要素に適合させることによる後処理ステップの3つのステップで構成される共通のフレームワークに基づいています。これまで、エンコーディングネットワーク(SegNetやResNetなど)、予測される要素のタイプ(コーナー、壁/床の境界、セマンティックセグメンテーションなど)、または方法など、複数の異なる設計上の決定により、方法を比較することは困難でした。 3Dレイアウトをフィッティングします。この課題に対処するために、共通のフレームワーク、バリアント、および設計上の決定の影響を要約して説明します。完全な評価のために、Matterport3Dデータセット[3]の拡張アノテーションも提案し、2つの深度ベースの評価メトリックを導入します。
Recent approaches for predicting layouts from 360 panoramas produce excellent results. These approaches build on a common framework consisting of three steps: a pre-processing step based on edge-based alignment, prediction of layout elements, and a post-processing step by fitting a 3D layout to the layout elements. Until now, it has been difficult to compare the methods due to multiple different design decisions, such as the encoding network (e.g. SegNet or ResNet), type of elements predicted (e.g. corners, wall/floor boundaries, or semantic segmentation), or method of fitting the 3D layout. To address this challenge, we summarize and describe the common framework, the variants, and the impact of the design decisions. For a complete evaluation, we also propose extended annotations for the Matterport3D dataset [3], and introduce two depth-based evaluation metrics.