最近、Transformer ベースの画像復元ネットワークは、パラメーターに依存しないグローバルな相互作用により、畳み込みニューラル ネットワークよりも有望な改善を達成しました。計算コストを下げるために、既存の研究では一般に自己注意計算を重複しないウィンドウ内に制限しています。ただし、トークンの各グループは常に画像の密な領域からのものです。密な領域ではトークンの相互作用が抑制されるため、これは密な注意戦略と見なされます。明らかに、この戦略では受容野が制限される可能性があります。この問題に対処するために、画像復元用の Attention Retractable Transformer (ART) を提案します。これは、ネットワーク内に密なアテンション モジュールと疎なアテンション モジュールの両方を提示します。まばらな注意モジュールは、まばらな領域からのトークンが相互作用することを可能にし、したがって、より広い受容フィールドを提供します。さらに、高密度アテンション モジュールとスパース アテンション モジュールを交互に適用することで、Transformer の表現能力が大幅に向上すると同時に、入力画像に格納可能なアテンションが提供されます。実験結果は、提案された ART が、定量的および視覚的にさまざまなベンチマーク データセットで最先端の方法よりも優れていることを検証します。また、ウェブサイト https://github.com/gladzhang/ART でコードとモデルを提供しています。
Recently, Transformer-based image restoration networks have achieved promising improvements over convolutional neural networks due to parameter-independent global interactions. To lower computational cost, existing works generally limit self-attention computation within non-overlapping windows. However, each group of tokens are always from a dense area of the image. This is considered as a dense attention strategy since the interactions of tokens are restrained in dense regions. Obviously, this strategy could result in restricted receptive fields. To address this issue, we propose Attention Retractable Transformer (ART) for image restoration, which presents both dense and sparse attention modules in the network. The sparse attention module allows tokens from sparse areas to interact and thus provides a wider receptive field. Furthermore, the alternating application of dense and sparse attention modules greatly enhances representation ability of Transformer while providing retractable attention on the input image.We conduct extensive experiments on image super-resolution, denoising, and JPEG compression artifact reduction tasks. Experimental results validate that our proposed ART outperforms state-of-the-art methods on various benchmark datasets both quantitatively and visually. We also provide code and models at the website https://github.com/gladzhang/ART.