このホワイトペーパーでは、マルチビュー画像から3D屋内シーンを再構築するという課題に取り組んでいます。これまでの多くの作品は、テクスチャオブジェクトで印象的な再構成結果を示していますが、屋内シーンで一般的な低テクスチャの平面領域を処理することは依然として困難です。この問題を解決するためのアプローチは、マルチビューステレオベースの方法で深度マップ推定に平面制約を組み込むことですが、ビューごとの平面推定と深度最適化には、効率とマルチビューの一貫性の両方が欠けています。この作業では、平面制約を最近の暗黙的なニューラル表現ベースの再構築方法に便利に統合できることを示します。具体的には、MLPネットワークを使用して、符号付き距離関数をシーンジオメトリとして表します。マンハッタンの世界の仮定に基づいて、平面制約を使用して、2Dセマンティックセグメンテーションネットワークによって予測された床と壁の領域のジオメトリを正規化します。不正確なセグメンテーションを解決するために、3Dポイントのセマンティクスを別のMLPでエンコードし、3D空間のシーンジオメトリとセマンティクスを共同で最適化する新しい損失を設計します。 ScanNetおよび7-Scenesデータセットでの実験は、提案された方法が3D再構成の品質に関して以前の方法よりも大幅に優れていることを示しています。コードはhttps://zju3dv.github.io/manhattan_sdfで入手できます。
This paper addresses the challenge of reconstructing 3D indoor scenes from multi-view images. Many previous works have shown impressive reconstruction results on textured objects, but they still have difficulty in handling low-textured planar regions, which are common in indoor scenes. An approach to solving this issue is to incorporate planer constraints into the depth map estimation in multi-view stereo-based methods, but the per-view plane estimation and depth optimization lack both efficiency and multi-view consistency. In this work, we show that the planar constraints can be conveniently integrated into the recent implicit neural representation-based reconstruction methods. Specifically, we use an MLP network to represent the signed distance function as the scene geometry. Based on the Manhattan-world assumption, planar constraints are employed to regularize the geometry in floor and wall regions predicted by a 2D semantic segmentation network. To resolve the inaccurate segmentation, we encode the semantics of 3D points with another MLP and design a novel loss that jointly optimizes the scene geometry and semantics in 3D space. Experiments on ScanNet and 7-Scenes datasets show that the proposed method outperforms previous methods by a large margin on 3D reconstruction quality. The code is available at https://zju3dv.github.io/manhattan_sdf.