イメージ ガイダンスは、深度超解像の効果的な戦略です。一般に、ほとんどの既存の方法では、手作りのオペレーターを使用して、低解像度の深度マップから高周波 (HF) 成分と低周波 (LF) 成分を分解し、画像の特徴と直接連結して HF 成分を導きます。ただし、手作業で設計されたオペレーターは、通常、複雑な深度マップの多様な外観のために、劣った HF マップ (たとえば、歪んだり、構造的に欠落している) を引き起こします。さらに、すべての画像特徴が HF マップにプラスの効果をもたらすわけではないため、直接連結はしばしば弱いガイダンスをもたらします。この論文では、2 つの重要な部分から成る、反復構造注意誘導 (RSAG) フレームワークを開発します。最初に、適応周波数領域分離用のマルチスケール フィルターを備えたディープ コントラスト ネットワークを導入します。これは、大きなフィルターから小さなフィルターまでのコントラスト ネットワークを採用して、適応的な高品質 HF 予測のピクセル コントラストを計算します。次に、粗い連結ガイダンスの代わりに、再帰構造アテンション ブロックを提案します。これは、正確な深度回復のための洗練されたガイダンスを提供することを目的として、最新の深度推定と画像特徴を繰り返し利用して明確なパターンと境界を共同で選択します。さらに、HF マップの機能を融合して、分解された LF マップのエッジ構造を強化します。広範な実験により、最先端の深度超解像法と比較して、私たちのアプローチが優れたパフォーマンスを発揮することが示されています。
Image guidance is an effective strategy for depth super-resolution. Generally, most existing methods employ hand-crafted operators to decompose the high-frequency (HF) and low-frequency (LF) ingredients from low-resolution depth maps and guide the HF ingredients by directly concatenating them with image features. However, the hand-designed operators usually cause inferior HF maps (e.g., distorted or structurally missing) due to the diverse appearance of complex depth maps. Moreover, the direct concatenation often results in weak guidance because not all image features have a positive effect on the HF maps. In this paper, we develop a recurrent structure attention guided (RSAG) framework, consisting of two important parts. First, we introduce a deep contrastive network with multi-scale filters for adaptive frequency-domain separation, which adopts contrastive networks from large filters to small ones to calculate the pixel contrasts for adaptive high-quality HF predictions. Second, instead of the coarse concatenation guidance, we propose a recurrent structure attention block, which iteratively utilizes the latest depth estimation and the image features to jointly select clear patterns and boundaries, aiming at providing refined guidance for accurate depth recovery. In addition, we fuse the features of HF maps to enhance the edge structures in the decomposed LF maps. Extensive experiments show that our approach obtains superior performance compared with state-of-the-art depth super-resolution methods.