このホワイトペーパーでは、複数の低解像度カメラに囲まれた高解像度カメラを含む、ハイブリッドレンズから高解像度ライトフィールド(LF)画像を再構成する際の問題について説明します。この課題に取り組むために、2つの補完的かつ並列的な視点からの入力の特定の特性を包括的に利用できる、新しいエンドツーエンドの学習ベースのアプローチを提案します。具体的には、1つのモジュールが、深い多次元およびクロスドメイン機能表現を学習することにより、空間的に一貫した中間推定を回帰します。もう1つは、高解像度ビューの情報を伝播することにより、高周波テクスチャを維持する別の中間推定を構築します。最後に、学習した注意マップを介して2つの中間推定の利点を活用し、最終的な高解像度LF画像を作成します。広範な実験により、最新の手法よりも優れたアプローチを示しています。つまり、この方法では、PSNRが2 dB以上改善されるだけでなく、LF構造がより適切に保持されます。私たちの知る限りでは、これはハイブリッド入力で高解像度のLF画像を再構築するための最初のエンドツーエンドの深層学習法です。私たちのフレームワークは、高解像度のLFデータ取得のコストを潜在的に削減し、LFデータの保存と送信にも有益であると考えています。コードはhttps://github.com/jingjin25/LFhybridSR-Fusionで入手できます。
This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation; the other one constructs another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations via the learned attention maps, leading to the final high-resolution LF image. Extensive experiments demonstrate the significant superiority of our approach over state-of-the-art ones. That is, our method not only improves the PSNR by more than 2 dB, but also preserves the LF structure much better. To the best of our knowledge, this is the first end-to-end deep learning method for reconstructing a high-resolution LF image with a hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and also be beneficial to LF data storage and transmission. The code is available at https://github.com/jingjin25/LFhybridSR-Fusion.