arXiv reaDer
BA-Net:深い畳み込みニューラルネットワークに対するブリッジの注目
BA-Net: Bridge Attention for Deep Convolutional Neural Networks
近年、チャネル注意メカニズムは、深い畳み込みニューラルネットワーク(CNN)のパフォーマンスを改善する大きな可能性について広く研究されています。ただし、ほとんどの既存の方法では、チャネルの重みを計算するために、隣接する畳み込み層の出力のみがアテンション層に供給されます。他の畳み込み層からの情報は無視されます。これらの観察により、より良いチャネル注意メカニズムのために、Bridge Attention Net(BA-Net)という名前の単純な戦略が提案されます。この設計の主なアイデアは、チャネルの重みを生成するためのスキップ接続を介して、以前の畳み込み層の出力をブリッジすることです。 BA-Netは、フィードフォワード時にチャネルの重みを計算するためのより豊富な機能を提供するだけでなく、バックフォワード時に更新されるパラメーターのパスを乗算することもできます。包括的な評価は、提案されたアプローチが、精度と速度に関して既存の方法と比較して最先端のパフォーマンスを達成することを示しています。 Bridge Attentionは、ニューラルネットワークアーキテクチャの設計に関する新たな視点を提供し、既存のチャネルアテンションメカニズムのパフォーマンスを向上させる大きな可能性を示しています。コードは\ url {https://github.com/zhaoy376/Attention-mechanismで入手できます。
In recent years, channel attention mechanism is widely investigated for its great potential in improving the performance of deep convolutional neural networks (CNNs). However, in most existing methods, only the output of the adjacent convolution layer is fed to the attention layer for calculating the channel weights. Information from other convolution layers is ignored. With these observations, a simple strategy, named Bridge Attention Net (BA-Net), is proposed for better channel attention mechanisms. The main idea of this design is to bridge the outputs of the previous convolution layers through skip connections for channel weights generation. BA-Net can not only provide richer features to calculate channel weight when feedforward, but also multiply paths of parameters updating when backforward. Comprehensive evaluation demonstrates that the proposed approach achieves state-of-the-art performance compared with the existing methods in regards to accuracy and speed. Bridge Attention provides a fresh perspective on the design of neural network architectures and shows great potential in improving the performance of the existing channel attention mechanisms. The code is available at \url{https://github.com/zhaoy376/Attention-mechanism
updated: Wed Dec 08 2021 07:39:18 GMT+0000 (UTC)
published: Wed Dec 08 2021 07:39:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト