知覚、再構成、ロボットナビゲーションなどのさまざまなアプリケーションで重要なタスクである、単一のビデオからのマルチビュー深度推定の新しい方法を紹介します。以前の学習ベースの方法は説得力のある結果を示しましたが、ほとんどの作品は、フレーム間の強い幾何学的および時間的一貫性を考慮せずに、個々のビデオフレームの深度マップを個別に推定します。さらに、現在の最先端(SOTA)モデルは、ほとんどの場合、コストの正則化のために完全な3D畳み込みネットワークを採用しているため、高い計算コストが必要であり、実際のアプリケーションでの展開が制限されます。私たちの方法は、新しいエピポーラ時空間(EST)トランスフォーマーを使用して、幾何学的および時間的相関を複数の推定深度マップと明示的に関連付けることにより、時間的にコヒーレントな深度推定結果を実現します。さらに、最近のMixture-of-Expertsモデルに触発された計算コストを削減するために、2Dコンテキスト情報と3D視差キューを別々に学習する2Dコンテキスト認識ネットワークと3Dマッチングネットワークで構成されるコンパクトなハイブリッドネットワークを設計します。広範な実験は、我々の方法がSOTA法よりも深さ推定においてより高い精度と大幅なスピードアップを達成することを示しています。
We present a novel method for multi-view depth estimation from a single video, which is a critical task in various applications, such as perception, reconstruction and robot navigation. Although previous learning-based methods have demonstrated compelling results, most works estimate depth maps of individual video frames independently, without taking into consideration the strong geometric and temporal coherence among the frames. Moreover, current state-of-the-art (SOTA) models mostly adopt a fully 3D convolution network for cost regularization and therefore require high computational cost, thus limiting their deployment in real-world applications. Our method achieves temporally coherent depth estimation results by using a novel Epipolar Spatio-Temporal (EST) transformer to explicitly associate geometric and temporal correlation with multiple estimated depth maps. Furthermore, to reduce the computational cost, inspired by recent Mixture-of-Experts models, we design a compact hybrid network consisting of a 2D context-aware network and a 3D matching network which learn 2D context information and 3D disparity cues separately. Extensive experiments demonstrate that our method achieves higher accuracy in depth estimation and significant speedup than the SOTA methods.