ライトフィールド(LF)画像の超解像(SR)は、低解像度の画像から高解像度のLF画像を再構成することを目的としています。 CNNベースの方法はLF画像SRで顕著なパフォーマンスを達成しましたが、これらの方法では4DLFデータの非局所特性を完全にモデル化することはできません。本論文では、LF画像SRのためのシンプルで効果的なトランスベースの方法を提案した。私たちの方法では、角度トランスフォーマーは異なるビュー間で補完的な情報を組み込むように設計され、空間トランスフォーマーは各サブアパーチャ画像内のローカルと長距離の両方の依存関係をキャプチャするために開発されています。提案された角度および空間トランスフォーマーを使用すると、LFの有益な情報を十分に活用でき、SRのパフォーマンスが向上します。広範なアブレーション研究を通じて角度および空間トランスフォーマーの有効性を検証し、5つの公開LFデータセットでの最新の方法と私たちの方法を比較します。私たちの方法は、小さなモデルサイズと低い計算コストで優れたSRパフォーマンスを実現します。コードはhttps://github.com/ZhengyuLiang24/LFTで入手できます。
Light field (LF) image super-resolution (SR) aims at reconstructing high-resolution LF images from their low-resolution counterparts. Although CNN-based methods have achieved remarkable performance in LF image SR, these methods cannot fully model the non-local properties of the 4D LF data. In this paper, we propose a simple but effective Transformer-based method for LF image SR. In our method, an angular Transformer is designed to incorporate complementary information among different views, and a spatial Transformer is developed to capture both local and long-range dependencies within each sub-aperture image. With the proposed angular and spatial Transformers, the beneficial information in an LF can be fully exploited and the SR performance is boosted. We validate the effectiveness of our angular and spatial Transformers through extensive ablation studies, and compare our method to recent state-of-the-art methods on five public LF datasets. Our method achieves superior SR performance with a small model size and low computational cost. Code is available at https://github.com/ZhengyuLiang24/LFT.