注意メカニズムは、抽出された特徴マップを改良し、ディープネットワークの分類パフォーマンスを向上させることができます。これは、コンピュータービジョンと自然言語処理に不可欠な手法になっています。ただし、内積注意メカニズムのメモリと計算コストは、入力の時空間サイズに応じて2次関数的に増加します。このような成長は、大規模な入力を伴うアプリケーションシナリオでの注意メカニズムの使用を大幅に妨げます。このレターでは、この問題に対処するための線形注意メカニズム(LAM)を提案します。これは、計算効率を備えた内積注意とほぼ同等です。このような設計により、注意メカニズムとディープネットワーク間の組み込みがはるかに柔軟で用途が広くなります。提案されたLAMに基づいて、生のU-Netのスキップ接続をリファクタリングし、高解像度のリモートセンシング画像からのセマンティックセグメンテーションのためのマルチステージアテンションResU-Net(MAResU-Net)を設計します。 Vaihingenデータセットで実施された実験により、MAResU-Netの有効性と効率が実証されました。オープンソースコードはhttps://github.com/lironui/Multistage-Attention-ResU-Netで入手できます。
The attention mechanism can refine the extracted feature maps and boost the classification performance of the deep network, which has become an essential technique in computer vision and natural language processing. However, the memory and computational costs of the dot-product attention mechanism increase quadratically with the spatio-temporal size of the input. Such growth hinders the usage of attention mechanisms considerably in application scenarios with large-scale inputs. In this Letter, we propose a Linear Attention Mechanism (LAM) to address this issue, which is approximately equivalent to dot-product attention with computational efficiency. Such a design makes the incorporation between attention mechanisms and deep networks much more flexible and versatile. Based on the proposed LAM, we re-factor the skip connections in the raw U-Net and design a Multi-stage Attention ResU-Net (MAResU-Net) for semantic segmentation from fine-resolution remote sensing images. Experiments conducted on the Vaihingen dataset demonstrated the effectiveness and efficiency of our MAResU-Net. Open-source code is available at https://github.com/lironui/Multistage-Attention-ResU-Net.