arXiv reaDer
画像超解像のための再帰的汎化変換器
Recursive Generalization Transformer for Image Super-Resolution
トランス アーキテクチャは、画像の超解像 (SR) で優れた性能を発揮しています。 Transformer では自己注意 (SA) の計算が 2 次式であるため、既存の方法ではオーバーヘッドを削減するためにローカル領域で SA を採用する傾向があります。ただし、ローカル設計では、正確な画像再構成に不可欠なグローバル コンテキストの利用が制限されます。この作業では、グローバル空間情報をキャプチャでき、高解像度画像に適した画像 SR の再帰的一般化変換 (RGT) を提案します。具体的には、再帰的一般化自己注意 (RG-SA) を提案します。入力特徴を代表的な特徴マップに再帰的に集約し、クロスアテンションを利用してグローバル情報を抽出します。一方、アテンション マトリックス (クエリ、キー、および値) のチャネル ディメンションは、計算オーバーヘッドとパフォーマンスのトレードオフを改善するためにさらにスケーリングされます。さらに、RG-SA とローカル自己注意を組み合わせて、グローバル コンテキストの活用を強化し、モジュール統合のためのハイブリッド適応統合 (HAI) を提案します。 HAI を使用すると、さまざまなレベル (ローカルまたはグローバル) の機能を直接的かつ効果的に融合できます。広範な実験により、当社の RGT が最近の最先端の方法よりも優れていることが実証されています。
Transformer architectures have exhibited remarkable performance in image super-resolution (SR). Since the quadratic computational complexity of the self-attention (SA) in Transformer, existing methods tend to adopt SA in a local region to reduce overheads. However, the local design restricts the global context exploitation, which is critical for accurate image reconstruction. In this work, we propose the Recursive Generalization Transformer (RGT) for image SR, which can capture global spatial information and is suitable for high-resolution images. Specifically, we propose the recursive-generalization self-attention (RG-SA). It recursively aggregates input features into representative feature maps, and then utilizes cross-attention to extract global information. Meanwhile, the channel dimensions of attention matrices (query, key, and value) are further scaled for a better trade-off between computational overheads and performance. Furthermore, we combine the RG-SA with local self-attention to enhance the exploitation of the global context, and propose the hybrid adaptive integration (HAI) for module integration. The HAI allows the direct and effective fusion between features at different levels (local or global). Extensive experiments demonstrate that our RGT outperforms recent state-of-the-art methods.
updated: Sat Mar 11 2023 10:44:44 GMT+0000 (UTC)
published: Sat Mar 11 2023 10:44:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト