非局所注意モジュールは、画像の復元に不可欠であることが証明されています。従来の非局所的注意は、各レイヤーの特徴を個別に処理するため、異なるレイヤー間の特徴間の相関関係が失われるリスクがあります。この問題に対処するために、さまざまなレイヤーから情報を集約する注意モジュールを設計することを目指しています。同じレイヤー内で相関するキー ピクセルを見つける代わりに、各クエリ ピクセルは、ネットワークの前の複数のレイヤーでキー ピクセルに対応することが推奨されます。このようなアテンション設計をニューラル ネットワーク バックボーンに効率的に埋め込むために、新しい適応型クロスレイヤー アテンション (ACLA) モジュールを提案します。 ACLA には 2 つの適応設計が提案されています。 (2) ACLA モジュールの挿入位置を自動的に検索します。これらの 2 つの適応型設計により、ACLA は柔軟な数のキーを動的に選択して、前の層で非局所的な注意を向けるために集約すると同時に、強力なパフォーマンスを備えたコンパクトなニューラル ネットワークを維持します。単一画像の超解像度、画像のノイズ除去、画像のデモザイキング、画像圧縮アーティファクトの削減など、画像復元タスクに関する広範な実験により、ACLA の有効性と効率が検証されます。 ACLA のコードは、https://github.com/SDL-ASU/ACLA で入手できます。
Non-local attention module has been proven to be crucial for image restoration. Conventional non-local attention processes features of each layer separately, so it risks missing correlation between features among different layers. To address this problem, we aim to design attention modules that aggregate information from different layers. Instead of finding correlated key pixels within the same layer, each query pixel is encouraged to attend to key pixels at multiple previous layers of the network. In order to efficiently embed such attention design into neural network backbones, we propose a novel Adaptive Cross-Layer Attention (ACLA) module. Two adaptive designs are proposed for ACLA: (1) adaptively selecting the keys for non-local attention at each layer; (2) automatically searching for the insertion locations for ACLA modules. By these two adaptive designs, ACLA dynamically selects a flexible number of keys to be aggregated for non-local attention at previous layer while maintaining a compact neural network with compelling performance. Extensive experiments on image restoration tasks, including single image super-resolution, image denoising, image demosaicing, and image compression artifacts reduction, validate the effectiveness and efficiency of ACLA. The code of ACLA is available at https://github.com/SDL-ASU/ACLA.