デプスコンプリーションは、スパースマップからデンスデプスマップを復元する問題を扱います。このタスクを容易にするためにカラー画像がよく使用されます。最近のアプローチは、主に画像誘導学習に焦点を当てて、密な結果を予測しています。ただし、画像のぼやけたガイダンスと深さの不明確な構造は、画像誘導フレームワークのパフォーマンスを依然として妨げます。 2回見たり考えたりする一般的なメカニズムに触発されて、画像誘導ネットワークで反復的な設計を検討し、深度値を徐々に十分に回復します。具体的には、繰り返しは画像ガイダンスブランチと深度生成ブランチの両方で具体化されます。前者のブランチでは、複雑な環境の識別可能な画像の特徴を抽出するための反復砂時計ネットワークを設計します。これにより、深度予測のための強力なコンテキスト命令を提供できます。後者のブランチでは、動的畳み込みに基づく反復ガイダンスモジュールを紹介します。このモジュールでは、効率的な畳み込み因数分解を提案して、複雑さを軽減し、高周波構造を段階的にモデル化します。広範な実験は、私たちの方法がKITTIベンチマークとNYUv2データセットで最先端の結果を達成することを示しています。
Depth completion deals with the problem of recovering dense depth maps from sparse ones, where color images are often used to facilitate this task. Recent approaches mainly focus on image guided learning to predict dense results. However, blurry guidance in image and unclear structure in depth still impede the performance of the image guided frameworks. Inspired by the popular mechanism of looking and thinking twice, we explore a repetitive design in our image guided network to gradually and sufficiently recover depth values. Specifically, the repetition is embodied in both the image guidance branch and depth generation branch. In the former branch, we design a repetitive hourglass network to extract discriminative image features of complex environments, which can provide powerful contextual instruction for depth prediction. In the latter branch, we introduce a repetitive guidance module based on dynamic convolution, in which an efficient convolution factorization is proposed to simultaneously reduce its complexity and progressively model high-frequency structures. Extensive experiments show that our method achieves state-of-the-art results on the KITTI benchmark and NYUv2 dataset.