深度補完は、疎な深度マップから高密度の深度マップを復元する問題を扱います。この問題では、この補完を容易にするためにカラー画像がよく使用されます。最近のアプローチは、主に画像誘導学習に焦点を当てて、密な結果を予測しています。ただし、ぼやけた画像ガイダンスとオブジェクト構造の深さは、画像ガイドフレームワークのパフォーマンスを妨げます。これらの問題に取り組むために、画像誘導ネットワークで反復設計を検討し、深度値を十分かつ段階的に回復します。具体的には、繰り返しは、カラー画像ガイダンスブランチと深度生成ブランチで具体化されます。前者のブランチでは、複雑な環境の高レベルの画像特徴を抽出するための反復砂時計ネットワークを設計します。これにより、深度予測のための強力なコンテキストガイダンスを提供できます。後者のブランチでは、動的畳み込みに基づく反復ガイダンスモジュールを設計します。このモジュールでは、畳み込み因数分解を適用して、複雑さを軽減し、境界などの高周波構造を段階的にモデル化します。さらに、このモジュールでは、マルチステップ深度特徴を効果的に集約するための適応融合メカニズムを提案します。広範な実験により、私たちの方法はNYUv2データセットで最先端の結果を達成し、提出時にKITTIベンチマークで1位にランクされていることが示されています。
Depth completion deals with the problem of recovering dense depth maps from sparse ones, where color images are often used to facilitate this completion. Recent approaches mainly focus on image guided learning to predict dense results. However, blurry image guidance and object structures in depth still impede the performance of image guided frameworks. To tackle these problems, we explore a repetitive design in our image guided network to sufficiently and gradually recover depth values. Specifically, the repetition is embodied in a color image guidance branch and a depth generation branch. In the former branch, we design a repetitive hourglass network to extract higher-level image features of complex environments, which can provide powerful context guidance for depth prediction. In the latter branch, we design a repetitive guidance module based on dynamic convolution where the convolution factorization is applied to simultaneously reduce its complexity and progressively model high-frequency structures, e.g., boundaries. Further, in this module, we propose an adaptive fusion mechanism to effectively aggregate multi-step depth features. Extensive experiments show that our method achieves state-of-the-art result on the NYUv2 dataset and ranks 1st on the KITTI benchmark at the time of submission.