arXiv reaDer
DesNet: 教師なし深度補完のための分解されたスケール一貫性のあるネットワーク
DesNet: Decomposed Scale-Consistent Network for Unsupervised Depth Completion
教師なし深度補完は、グラウンド トゥルース アノテーションを使用せずに、疎な深度から密な深度を復元することを目的としています。通常、LiDAR から得られる深度測定値はまばらですが、有効で実際の距離情報、つまりスケールに一貫した絶対深度値が含まれています。一方、スケールにとらわれないカウンターパートは、相対的な深さを推定しようとし、印象的なパフォーマンスを達成しています。したがって、両方の固有の特性を活用するために、教師なしのスケールに依存しないフレームワークでスケール一貫性のある深さをモデル化することをお勧めします。具体的には、分解されたスケール整合性学習 (DSCL) 戦略を提案します。これは、絶対深度を相対深度予測とグローバル スケール推定に分解し、個々の学習の利点に貢献します。しかし残念なことに、ほとんどの既存の監視されていないスケールに依存しないフレームワークは、深度入力が非常にまばらで、監視信号が弱いため、深度ホールに大きく悩まされています。この問題に取り組むために、グローバル深度ガイダンス(GDG)モジュールを導入します。これは、新しい密から疎への注意を介して、密な深度参照を疎なターゲットに慎重に伝播します。広範な実験により、屋外の KITTI ベンチマークでの私たちの方法の優位性が示され、1 位にランクされ、RMSE で最高の KBNet を 12% 以上上回っています。さらに、私たちのアプローチは、屋内 NYUv2 データセットで最先端のパフォーマンスを実現します。
Unsupervised depth completion aims to recover dense depth from the sparse one without using the ground-truth annotation. Although depth measurement obtained from LiDAR is usually sparse, it contains valid and real distance information, i.e., scale-consistent absolute depth values. Meanwhile, scale-agnostic counterparts seek to estimate relative depth and have achieved impressive performance. To leverage both the inherent characteristics, we thus suggest to model scale-consistent depth upon unsupervised scale-agnostic frameworks. Specifically, we propose the decomposed scale-consistent learning (DSCL) strategy, which disintegrates the absolute depth into relative depth prediction and global scale estimation, contributing to individual learning benefits. But unfortunately, most existing unsupervised scale-agnostic frameworks heavily suffer from depth holes due to the extremely sparse depth input and weak supervised signal. To tackle this issue, we introduce the global depth guidance (GDG) module, which attentively propagates dense depth reference into the sparse target via novel dense-to-sparse attention. Extensive experiments show the superiority of our method on outdoor KITTI benchmark, ranking 1st and outperforming the best KBNet more than 12% in RMSE. In addition, our approach achieves state-of-the-art performance on indoor NYUv2 dataset.
updated: Sun Nov 20 2022 14:56:18 GMT+0000 (UTC)
published: Sun Nov 20 2022 14:56:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト