arXiv reaDer
PFT-SSR: 立体画像超解像用視差融合トランス
PFT-SSR: Parallax Fusion Transformer for Stereo Image Super-Resolution
ステレオ画像の超解像は、双眼鏡システムによって提供される補足情報を活用することにより、画像の超解像のパフォーマンスを向上させることを目的としています。以前の方法は有望な結果を達成しましたが、クロスビューとイントラビューの情報を十分に活用していませんでした。両眼画像の可能性をさらに引き出すために、このレターでは、Parallax Fusion Transformer (PFT) と呼ばれる新しい Transformer ベースの視差融合モジュールを提案します。 PFT は、クロスビュー情報を利用するためにクロスビュー フュージョン トランスフォーマー (CVFT) を採用し、ビュー内の特徴を絞り込むためにイントラビュー リファインメント トランスフォーマー (IVRT) を採用しています。一方、特徴抽出と SR 再構成のバックボーンとして Swin Transformer を採用し、PFT-SSR と呼ばれる純粋な Transformer アーキテクチャを形成しました。広範な実験とアブレーション研究は、PFT-SSR が競争力のある結果を達成し、ほとんどの SOTA メソッドよりも優れていることを示しています。ソース コードは、https://github.com/MIVRC/PFT-PyTorch で入手できます。
Stereo image super-resolution aims to boost the performance of image super-resolution by exploiting the supplementary information provided by binocular systems. Although previous methods have achieved promising results, they did not fully utilize the information of cross-view and intra-view. To further unleash the potential of binocular images, in this letter, we propose a novel Transformerbased parallax fusion module called Parallax Fusion Transformer (PFT). PFT employs a Cross-view Fusion Transformer (CVFT) to utilize cross-view information and an Intra-view Refinement Transformer (IVRT) for intra-view feature refinement. Meanwhile, we adopted the Swin Transformer as the backbone for feature extraction and SR reconstruction to form a pure Transformer architecture called PFT-SSR. Extensive experiments and ablation studies show that PFT-SSR achieves competitive results and outperforms most SOTA methods. Source code is available at https://github.com/MIVRC/PFT-PyTorch.
updated: Fri Mar 24 2023 05:04:52 GMT+0000 (UTC)
published: Fri Mar 24 2023 05:04:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト