ウィンドウの自己注意 (WSA) を備えた Swin Transformer (SwinT) が単一画像の超解像 (SR) に適していることがいくつかの研究で証明されていますが、SwinT はウィンドウとシフト サイズのために高解像度画像を再構築するための広い領域を無視します。さらに、多くの深層学習 SR メソッドは、集中的な計算に悩まされています。これらの問題に対処するために、N-Gram コンテキストを史上初めて画像ドメインに導入します。 SwinT では、N-Gram を隣接するローカル ウィンドウとして定義します。これは、N-Gram を連続した文字または単語と見なすテキスト分析とは異なります。 N グラムは、スライド WSA によって相互に作用し、劣化したピクセルを復元する領域を拡大します。 N-Gram コンテキストを使用して、階層エンコーダーのすべての出力を取得する SCDP ボトルネックを備えた効率的な SR ネットワークである NGswin を提案します。実験結果は、NGswin が従来の主要な方法と比較して、効率的な構造を維持しながら競争力のあるパフォーマンスを達成することを示しています。さらに、N-Gram コンテキストを使用して他の SwinT ベースの SR メソッドも改善し、それによって強化されたモデルである SwinIR-NG を構築します。改良された SwinIR-NG は、現在の最高の軽量 SR アプローチよりも優れており、最先端の結果を確立しています。コードはすぐに利用可能になります。
While some studies have proven that Swin Transformer (SwinT) with window self-attention (WSA) is suitable for single image super-resolution (SR), SwinT ignores the broad regions for reconstructing high-resolution images due to window and shift size. In addition, many deep learning SR methods suffer from intensive computations. To address these problems, we introduce the N-Gram context to the image domain for the first time in history. We define N-Gram as neighboring local windows in SwinT, which differs from text analysis that views N-Gram as consecutive characters or words. N-Grams interact with each other by sliding-WSA, expanding the regions seen to restore degraded pixels. Using the N-Gram context, we propose NGswin, an efficient SR network with SCDP bottleneck taking all outputs of the hierarchical encoder. Experimental results show that NGswin achieves competitive performance while keeping an efficient structure, compared with previous leading methods. Moreover, we also improve other SwinT-based SR methods with the N-Gram context, thereby building an enhanced model: SwinIR-NG. Our improved SwinIR-NG outperforms the current best lightweight SR approaches and establishes state-of-the-art results. Codes will be available soon.