注意メカニズムは、単一画像の超解像(SISR)の大きな可能性を示しています。ただし、既存の作業では、特定のネットワークに対していくつかの注意メカニズムが提案されているだけです。注意なしでネットワークのパフォーマンスをさらに改善し、注意ありのネットワークのベースラインを提供できる、SISRの普遍的な注意メカニズムはまだ不足しています。このギャップを埋めるために、Avgpool Channel Attention Module(ACAM)とMaxpool Spatial Attention Module(MSAM)を並列に構成する軽量で効率的なBalanced Attention Mechanism(BAM)を提案します。 ACAMおよびMSAMの情報抽出メカニズムは、冗長な情報を効果的にフィルタリングし、BAMの全体的な構造を非常に軽量にします。並列構造により、BAMの勾配バックプロパゲーションプロセス中に、ACAMとMSAMは自己最適化だけでなく、相互最適化も実行して、よりバランスの取れた注意情報を生成します。 BAMの有効性と堅牢性を検証するために、BAMを12の最先端のSISRネットワークに適用しました。 4つのベンチマークデータセットの結果は、BAMがネットワークのパフォーマンスを効率的に改善できることを示しています。注意を払っている人にとっては、BAMに置き換えると、パラメーターの量がさらに減り、推論速度が向上します。さらに、BAMのミニマリズムを証明するためにアブレーション実験が行われました。
Attention mechanism has shown enormous potential for single image super-resolution (SISR). However, existing works only proposed some attention mechanism for a specific network. A universal attention mechanism for SISR, which could further improve the performance of networks without attention and provide a baseline for networks with attention, is still lacking. To fit this gap, we propose a lightweight and efficient Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. The information extraction mechanism of ACAM and MSAM effectively filters redundant information, making the overall structure of BAM very lightweight. Owing to the parallel structure, during the gradient backpropagation process of BAM, ACAM and MSAM not only conduct self-optimization, but also mutual optimization so as to generate more balanced attention information. To verify the effectiveness and robustness of BAM, we applied it to 12 state-ofthe-art SISR networks. The results on 4 benchmark datasets demonstrate that BAM can efficiently improve the networks' performance, and for those with attention, the substitution with BAM further reduces the amount of parameters and increase the inference speed. Moreover, ablation experiments were conducted to prove the minimalism of BAM.