arXiv reaDer
NAFSSR:NAFNetを使用したステレオ画像の超解像
NAFSSR: Stereo Image Super-Resolution Using NAFNet
ステレオ画像の超解像は、双眼システムによって提供される補足情報を利用することにより、超解像結果の品質を向上させることを目的としています。妥当なパフォーマンスを得るために、ほとんどの方法は、モジュールや損失関数などを細かく設計して、別の観点から情報を活用することに重点を置いています。これには、システムの複雑さが増すという副作用があり、研究者が新しいアイデアを評価したり、方法を比較したりすることが困難になります。このホワイトペーパーでは、単一ビューの特徴抽出のための強力でシンプルな画像復元モデルNAFNetを継承し、クロスアテンションモジュールを追加してビュー間の特徴を融合し、両眼のシナリオに適応させることで拡張します。ステレオ画像の超解像のために提案されたベースラインは、NAFSSRとして示されています。さらに、NAFSSRのパフォーマンスを十分に活用するためのトレーニング/テスト戦略が提案されています。広範な実験は、私たちの方法の有効性を示しています。特に、NAFSSRは、KITTI 2012、KITTI 2015、Middlebury、およびFlickr1024データセットの最先端の方法よりも優れています。 NAFSSRにより、NTIRE2022ステレオイメージ超解像チャレンジで1位を獲得しました。コードとモデルはhttps://github.com/megvii-research/NAFNetでリリースされます。
Stereo image super-resolution aims at enhancing the quality of super-resolution results by utilizing the complementary information provided by binocular systems. To obtain reasonable performance, most methods focus on finely designing modules, loss functions, and etc. to exploit information from another viewpoint. This has the side effect of increasing system complexity, making it difficult for researchers to evaluate new ideas and compare methods. This paper inherits a strong and simple image restoration model, NAFNet, for single-view feature extraction and extends it by adding cross attention modules to fuse features between views to adapt to binocular scenarios. The proposed baseline for stereo image super-resolution is noted as NAFSSR. Furthermore, training/testing strategies are proposed to fully exploit the performance of NAFSSR. Extensive experiments demonstrate the effectiveness of our method. In particular, NAFSSR outperforms the state-of-the-art methods on the KITTI 2012, KITTI 2015, Middlebury, and Flickr1024 datasets. With NAFSSR, we won 1st place in the NTIRE 2022 Stereo Image Super-resolution Challenge. Codes and models will be released at https://github.com/megvii-research/NAFNet.
updated: Tue Apr 19 2022 07:38:10 GMT+0000 (UTC)
published: Tue Apr 19 2022 07:38:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト