低解像度の深度マップをもたらす市販の深度センサーのハードウェア制限を克服するには、深度マップ超解像度 (DMSR) が実用的で価値のあるコンピューター ビジョン タスクです。 DMSR では、低解像度 (LR) 深度マップを高解像度 (HR) 空間にアップスケールする必要があります。 DMSR の結合画像フィルタリングは、空間的に不変および空間的に変化する畳み込みニューラル ネットワーク (CNN) アプローチを使用して適用されています。このプロジェクトでは、Swin トランスフォーマ アーキテクチャを使用した新しい統合画像フィルタリング DMSR アルゴリズムを提案します。さらに、最先端の画像復元アプリケーションで使用される従来の CNN モデルに基づく非線形活性化フリー (NAF) ネットワークを導入し、技術のパフォーマンスを比較します。提案されたアルゴリズムは、数値研究と視覚的な例を通じて検証され、ノイズの多い深度マップの超解像度で競争力のある計算時間を維持しながら、最先端のパフォーマンスが向上することを実証しています。
To overcome hardware limitations in commercially available depth sensors which result in low-resolution depth maps, depth map super-resolution (DMSR) is a practical and valuable computer vision task. DMSR requires upscaling a low-resolution (LR) depth map into a high-resolution (HR) space. Joint image filtering for DMSR has been applied using spatially-invariant and spatially-variant convolutional neural network (CNN) approaches. In this project, we propose a novel joint image filtering DMSR algorithm using a Swin transformer architecture. Furthermore, we introduce a Nonlinear Activation Free (NAF) network based on a conventional CNN model used in cutting-edge image restoration applications and compare the performance of the techniques. The proposed algorithms are validated through numerical studies and visual examples demonstrating improvements to state-of-the-art performance while maintaining competitive computation time for noisy depth map super-resolution.