arXiv reaDer
RigNet:深度完了のための反復画像ガイドネットワーク
RigNet: Repetitive Image Guided Network for Depth Completion
デプスコンプリーションは、スパースマップから高密度デプスマップを復元する問題を処理します。この場合、このタスクを容易にするためにカラー画像がよく使用されます。最近のアプローチは、主に画像誘導学習フレームワークに焦点を当てて、密な深さを予測しています。ただし、画像のぼやけたガイダンスと深さの不明瞭な構造は、画像誘導フレームワークのパフォーマンスを依然として妨げます。これらの問題に取り組むために、画像誘導ネットワークで反復設計を検討し、深度値を徐々に十分に回復します。具体的には、繰り返しは画像ガイダンスブランチと深度生成ブランチの両方で具体化されます。前者のブランチでは、複雑な環境の識別可能な画像の特徴を抽出するための反復砂時計ネットワークを設計します。これにより、深度予測のための強力なコンテキスト命令を提供できます。後者のブランチでは、動的畳み込みに基づく反復ガイダンスモジュールを紹介します。このモジュールでは、効率的な畳み込み因数分解を提案して、複雑さを軽減し、高周波構造を段階的にモデル化します。広範な実験は、私たちの方法がKITTIベンチマークとNYUv2データセットで優れたまたは競争力のある結果を達成することを示しています。
Depth completion deals with the problem of recovering dense depth maps from sparse ones, where color images are often used to facilitate this task. Recent approaches mainly focus on image guided learning frameworks to predict dense depth. However, blurry guidance in the image and unclear structure in the depth still impede the performance of the image guided frameworks. To tackle these problems, we explore a repetitive design in our image guided network to gradually and sufficiently recover depth values. Specifically, the repetition is embodied in both the image guidance branch and depth generation branch. In the former branch, we design a repetitive hourglass network to extract discriminative image features of complex environments, which can provide powerful contextual instruction for depth prediction. In the latter branch, we introduce a repetitive guidance module based on dynamic convolution, in which an efficient convolution factorization is proposed to simultaneously reduce its complexity and progressively model high-frequency structures. Extensive experiments show that our method achieves superior or competitive results on KITTI benchmark and NYUv2 dataset.
updated: Thu Jul 07 2022 02:55:30 GMT+0000 (UTC)
published: Thu Jul 29 2021 08:00:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト