arXiv reaDer
BA-Net:深い畳み込みニューラルネットワークに対するブリッジの注目
BA-Net: Bridge Attention for Deep Convolutional Neural Networks
近年、チャネルアテンションメカニズムは、多くのビジョンタスクでディープ畳み込みニューラルネットワーク(CNN)のパフォーマンスを向上させる大きな可能性があるため、広く研究されています。ただし、既存の方法のほとんどでは、チャネルの重みを計算するために、隣接する畳み込み層の出力のみがアテンション層に供給されます。他の畳み込み層からの情報は無視されています。これらの観察結果を基に、チャネルアテンションメカニズムのパフォーマンスを向上させるために、Bridge Attention Net(BA-Net)という名前の単純な戦略がこのホワイトペーパーで提案されています。この設計の中心的なアイデアは、チャネルの重みを生成するためのスキップ接続を介して、以前の畳み込み層の出力をブリッジすることです。実験と理論分析に基づいて、前のレイヤーの特徴も重みに大きく寄与することがわかりました。包括的な評価は、提案されたアプローチが、精度と速度において既存の方法と比較して最先端の(SOTA)パフォーマンスを達成することを示しています。これは、Bridge Attentionが、パフォーマンスの向上に大きな可能性を秘めたニューラルネットワークアーキテクチャの設計に関する新しい視点を提供することを示しています。コードはhttps://github.com/zhaoy376/Bridge-Attentionで入手できます。
In recent years, channel attention mechanism has been widely investigated due to its great potential in improving the performance of deep convolutional neural networks (CNNs) in many vision tasks. However, in most of the existing methods, only the output of the adjacent convolution layer is fed into the attention layer for calculating the channel weights. Information from other convolution layers has been ignored. With these observations, a simple strategy, named Bridge Attention Net (BA-Net), is proposed in this paper for better performance with channel attention mechanisms. The core idea of this design is to bridge the outputs of the previous convolution layers through skip connections for channel weights generation. Based on our experiment and theory analysis, we find that features from previous layers also contribute to the weights significantly. The Comprehensive evaluation demonstrates that the proposed approach achieves state-of-the-art(SOTA) performance compared with the existing methods in accuracy and speed. which shows that Bridge Attention provides a new perspective on the design of neural network architectures with great potential in improving performance. The code is available at https://github.com/zhaoy376/Bridge-Attention.
updated: Wed Jun 01 2022 07:52:18 GMT+0000 (UTC)
published: Wed Dec 08 2021 07:39:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト