arXiv reaDer
ライトフィールドイメージングのための単一画像超解像モデルにおけるサブアパーチャ機能の適応
Sub-Aperture Feature Adaptation in Single Image Super-resolution Model for Light Field Imaging
市販のライトフィールド(LF)カメラが利用できるようになったため、LFイメージングは計算写真の新進気鋭のテクノロジーとして登場しました。ただし、空間分解能は、空間情報と角度情報の固有の多重化のために、市販のマイクロレンズベースのLFカメラでは大幅に制約されます。したがって、それはライトフィールドカメラの他のアプリケーションの主なボトルネックになります。この論文では、高度に設計されたライトフィールドイメージングドメイン固有の超解像モデルを使用する代わりに、強力なSISRモデルを活用するために、事前にトレーニングされた単一画像超解像(SISR)ネットワークの適応モジュールを提案します。アダプテーションモジュールは、サブアパーチャシフトブロックとフュージョンブロックで構成されています。これは、超解像性能を向上させるためにLF画像の空間情報と角度情報をさらに活用するためのSISRネットワークの適応です。実験的検証は、提案された方法が既存のライトフィールド超解像アルゴリズムよりも優れていることを示しています。また、スケールファクター2の同じ事前トレーニング済みSISRモデルと比較して、すべてのデータセットで1 dBを超えるPSNRゲインを達成し、スケールファクター4のPSNRゲインは0.6〜1dBです。
With the availability of commercial Light Field (LF) cameras, LF imaging has emerged as an up and coming technology in computational photography. However, the spatial resolution is significantly constrained in commercial microlens based LF cameras because of the inherent multiplexing of spatial and angular information. Therefore, it becomes the main bottleneck for other applications of light field cameras. This paper proposes an adaptation module in a pretrained Single Image Super Resolution (SISR) network to leverage the powerful SISR model instead of using highly engineered light field imaging domain specific Super Resolution models. The adaption module consists of a Sub aperture Shift block and a fusion block. It is an adaptation in the SISR network to further exploit the spatial and angular information in LF images to improve the super resolution performance. Experimental validation shows that the proposed method outperforms existing light field super resolution algorithms. It also achieves PSNR gains of more than 1 dB across all the datasets as compared to the same pretrained SISR models for scale factor 2, and PSNR gains 0.6 to 1 dB for scale factor 4.
updated: Mon Jul 25 2022 03:43:56 GMT+0000 (UTC)
published: Mon Jul 25 2022 03:43:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト