arXiv reaDer
ライトフィールド画像超解像のための非局所空間角度相関の学習
Learning Non-Local Spatial-Angular Correlation for Light Field Image Super-Resolution
空間角度相関を利用することは、ライト フィールド (LF) 画像の超解像 (SR) にとって重要ですが、LF 画像間の不一致によって引き起こされる非局所的な特性のため、非常に困難です。多くのディープ ニューラル ネットワーク (DNN) が LF 画像 SR 用に開発され、継続的に改善されたパフォーマンスを達成しましたが、既存の方法では長距離の空間角度相関を十分に活用できないため、視差の変動が大きいシーンを処理するときにパフォーマンスが大幅に低下します。この論文では、LF画像SRの非局所空間角度相関を学習するためのシンプルで効果的な方法を提案します。私たちの方法では、エピポーラ平面画像 (EPI) 表現を採用して、4D 空間角度相関を複数の 2D EPI 平面に投影し、反復自己注意操作を使用して Transformer ネットワークを開発し、モデル化することによって空間角度相関を学習します。 EPI ピクセルの各ペア間の依存関係。私たちの方法は、エピポーラ線に沿ってグローバルな受容野を達成しながら、すべての角度ビューからの情報を完全に組み込むことができます。私たちの方法の有効性を検証するために、洞察に富んだ視覚化を使用して広範な実験を行います。 5 つの公開データセットの比較結果は、私たちの方法が最先端の SR パフォーマンスを達成するだけでなく、視差の変動に対してもロバストなパフォーマンスを発揮することを示しています。コードは https://github.com/ZhengyuLiang24/EPIT で公開されています。
Exploiting spatial-angular correlation is crucial to light field (LF) image super-resolution (SR), but is highly challenging due to its non-local property caused by the disparities among LF images. Although many deep neural networks (DNNs) have been developed for LF image SR and achieved continuously improved performance, existing methods cannot well leverage the long-range spatial-angular correlation and thus suffer a significant performance drop when handling scenes with large disparity variations. In this paper, we propose a simple yet effective method to learn the non-local spatial-angular correlation for LF image SR. In our method, we adopt the epipolar plane image (EPI) representation to project the 4D spatial-angular correlation onto multiple 2D EPI planes, and then develop a Transformer network with repetitive self-attention operations to learn the spatial-angular correlation by modeling the dependencies between each pair of EPI pixels. Our method can fully incorporate the information from all angular views while achieving a global receptive field along the epipolar line. We conduct extensive experiments with insightful visualizations to validate the effectiveness of our method. Comparative results on five public datasets show that our method not only achieves state-of-the-art SR performance, but also performs robust to disparity variations. Code is publicly available at https://github.com/ZhengyuLiang24/EPIT.
updated: Fri Aug 11 2023 01:25:14 GMT+0000 (UTC)
published: Thu Feb 16 2023 03:40:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト