単眼深度推定はあいまいな問題であるため、現在のデータ駆動型の単一ビュー深度推定方法では、グローバルな構造的手がかりが重要な役割を果たします。パノラマ画像は、大きな歪みをもたらす正距円筒図法を利用して、周囲の完全な空間情報をキャプチャします。これには、深度推定方法が歪みを処理し、画像からグローバル コンテキスト情報を抽出できる必要があります。この論文では、単位球面上の単眼パノラマ深度推定のためのエンドツーエンドのディープネットワークを提案します。具体的には、正距円筒図法画像から抽出された特徴マップを、均一に分散されたグリッドによってサンプリングされた単位球面に投影します。ここで、デコーダー ネットワークは、歪みを低減した特徴マップから情報を集約できます。一方、スキップ接続からの特徴マップを融合し、グローバルコンテキストを取得する機能を強化するために、グローバルクロスアテンションベースの融合モジュールを提案します。 5 つのパノラマ深度推定データセットに対して実験が行われ、結果は、提案された方法が以前の最先端の方法よりも大幅に優れていることを示しています。関連するすべてのコードは、近日中にオープンソース化されます。
Monocular depth estimation is an ambiguous problem, thus global structural cues play an important role in current data-driven single-view depth estimation methods. Panorama images capture the complete spatial information of their surroundings utilizing the equirectangular projection which introduces large distortion. This requires the depth estimation method to be able to handle the distortion and extract global context information from the image. In this paper, we propose an end-to-end deep network for monocular panorama depth estimation on a unit spherical surface. Specifically, we project the feature maps extracted from equirectangular images onto unit spherical surface sampled by uniformly distributed grids, where the decoder network can aggregate the information from the distortion-reduced feature maps. Meanwhile, we propose a global cross-attention-based fusion module to fuse the feature maps from skip connection and enhance the ability to obtain global context. Experiments are conducted on five panorama depth estimation datasets, and the results demonstrate that the proposed method substantially outperforms previous state-of-the-art methods. All related codes will be open-sourced in the upcoming days.