単眼深度推定(MDE)は、シーンの理解や再構成などの多くのアプリケーションにおける基本的なタスクです。ただし、既存の方法のほとんどは、正確にラベル付けされたデータセットに依存しています。このホワイトペーパーでは、ラベルが間違っている場合に備えて、ANUWという名前の注意ネストU-net(ANU)に基づく弱教師ありフレームワークを紹介します。 ANUWは、入力された単一のRGB画像を深度画像に変換するようにエンドツーエンドでトレーニングされています。これは、密な残差ネットワーク構造、適応重みチャネル注意(AWCA)モジュール、パッチ2番目の非ローカル(PSNL)モジュール、およびソフトラベル生成方法で構成されます。密な残差ネットワークは、入力をエンコードおよびデコードするネットワークの本体です。 AWCAモジュールは、チャネルの重みを適応的に調整して、重要な特徴を抽出できます。 PSNLモジュールは、2次の非ローカルメソッドを介して空間的注意メカニズムを実装します。提案されたソフトラベル生成方法は、データセットの事前知識を使用して、誤ったラベルを置き換えるソフトラベルを生成します。提案されたANUWは、欠陥のある単眼深度データセットでトレーニングされ、トレーニングされたモデルは3つの公開データセットでテストされ、その結果は、最先端のMDEメソッドと比較したANUWの優位性を示しています。
Monocular depth estimation (MDE) is a fundamental task in many applications such as scene understanding and reconstruction. However, most of the existing methods rely on accurately labeled datasets. A weakly-supervised framework based on attention nested U-net (ANU) named as ANUW is introduced in this paper for cases with wrong labels. The ANUW is trained end-to-end to convert an input single RGB image into a depth image. It consists of a dense residual network structure, an adaptive weight channel attention (AWCA) module, a patch second non-local (PSNL) module and a soft label generation method. The dense residual network is the main body of the network to encode and decode the input. The AWCA module can adaptively adjust the channel weights to extract important features. The PSNL module implements the spatial attention mechanism through a second-order non-local method. The proposed soft label generation method uses the prior knowledge of the dataset to produce soft labels to replace false ones. The proposed ANUW is trained on a defective monocular depth dataset and the trained model is tested on three public datasets, and the results demonstrate the superiority of ANUW in comparison with the state-of-the-art MDE methods.