視覚的な合図を使用して現実世界をナビゲートすることを目的とするエージェントとシステムの数が前例のないほど増加し、3D ビジョン モデルの勢いが増しているため、深度推定の重要性を過小評価することはできません。この分野では教師あり手法がゴールド スタンダードのままですが、そのようなモデルをトレーニングするために大量の対になったステレオ データが必要なため、実用的ではありません。自己教師ありおよび教師なしドメインでのほとんどの最先端 (SOTA) 作品は、ResNet ベースのエンコーダー アーキテクチャを採用して、特定の入力画像から視差マップを予測します。これは、最終的にカメラ ポーズ エスティメーターと共に使用され、直接の監督なしで深度を予測します。 ResNets の完全な畳み込みの性質により、ピクセルごとのローカル情報のみをキャプチャする可能性が高くなり、深度予測には最適ではありません。このボトルネックを解消するための重要な洞察は、Vision Transformers を使用することです。Vision Transformers は、自己注意を使用して、入力画像に存在するグローバルなコンテキスト情報をキャプチャします。私たちのモデルは、2 つの完全な畳み込み深度エンコーダーを使用して学習したピクセルごとのローカル情報と、トランスフォーマー エンコーダーによって異なるスケールで学習したグローバル コンテキスト情報を融合します。これは、機能空間でマスクガイド付きマルチストリーム畳み込みを使用して、ほとんどの標準ベンチマークで最先端のパフォーマンスを実現します。
With an unprecedented increase in the number of agents and systems that aim to navigate the real world using visual cues and the rising impetus for 3D Vision Models, the importance of depth estimation is hard to understate. While supervised methods remain the gold standard in the domain, the copious amount of paired stereo data required to train such models makes them impractical. Most State of the Art (SOTA) works in the self-supervised and unsupervised domain employ a ResNet-based encoder architecture to predict disparity maps from a given input image which are eventually used alongside a camera pose estimator to predict depth without direct supervision. The fully convolutional nature of ResNets makes them susceptible to capturing per-pixel local information only, which is suboptimal for depth prediction. Our key insight for doing away with this bottleneck is to use Vision Transformers, which employ self-attention to capture the global contextual information present in an input image. Our model fuses per-pixel local information learned using two fully convolutional depth encoders with global contextual information learned by a transformer encoder at different scales. It does so using a mask-guided multi-stream convolution in the feature space to achieve state-of-the-art performance on most standard benchmarks.