シーン理解、ロボットナビゲーション、またはハンドヘルド3D再構成における基本的な問題である、カラービデオからのマルチフレーム深度推定のための新しい学習ベースの方法を提示します。最近の学習ベースの方法は深度を高精度で推定しますが、深度マップからエクスポートされた3D点群は、人工シーンの重要な幾何学的特徴(コーナー、エッジ、平面など)を維持できないことがよくあります。広く使用されているピクセル単位の深度エラーは、これらの機能の不整合を明確に不利にするものではありません。これらの不正確さは、この種の機能を備えた人工オブジェクトで環境全体をスキャンしようとしてその後の深度再構成が蓄積される場合、特に深刻です。したがって、深度推定アルゴリズムは、高曲率フィーチャーとグローバルな平面領域をより適切に保持するように設計された結合法線マップ(CNM)制約を導入します。深度推定精度をさらに向上させるために、複数の隣接ビューからの初期深度予測を1つの最終深度マップと現在の参照ビューの1つの閉塞確率マップに集約する新しい閉塞認識戦略を導入します。私たちの方法は、深度推定精度の点で最先端の性能を上回っており、人工屋内シーンの本質的な幾何学的特徴を他のアルゴリズムよりもはるかに優れています。
We present a new learning-based method for multi-frame depth estimation from a color video, which is a fundamental problem in scene understanding, robot navigation or handheld 3D reconstruction. While recent learning-based methods estimate depth at high accuracy, 3D point clouds exported from their depth maps often fail to preserve important geometric feature (e.g., corners, edges, planes) of man-made scenes. Widely-used pixel-wise depth errors do not specifically penalize inconsistency on these features. These inaccuracies are particularly severe when subsequent depth reconstructions are accumulated in an attempt to scan a full environment with man-made objects with this kind of features. Our depth estimation algorithm therefore introduces a Combined Normal Map (CNM) constraint, which is designed to better preserve high-curvature features and global planar regions. In order to further improve the depth estimation accuracy, we introduce a new occlusion-aware strategy that aggregates initial depth predictions from multiple adjacent views into one final depth map and one occlusion probability map for the current reference view. Our method outperforms the state-of-the-art in terms of depth estimation accuracy, and preserves essential geometric features of man-made indoor scenes much better than other algorithms.