arXiv reaDer
ConAM:畳み込みニューラルネットワークの信頼性注意モジュール
ConAM: Confidence Attention Module for Convolutional Neural Networks
いわゆる「注意」は、畳み込みニューラルネットワークのパフォーマンスを向上させるための効率的なメカニズムです。コンテキスト情報を使用して入力を再調整し、有益な機能の伝播を強化します。ただし、注意メカニズムの大部分は、特徴を抽出するために特異なローカルまたはグローバルのコンテキスト情報のみを考慮します。さらに、多くの既存のメカニズムは、コンテキスト情報を直接使用して入力を再調整します。これにより、有益な機能の伝播が一方的に強化されますが、役に立たない機能は抑制されません。この論文は、ローカルとグローバルのコンテキスト情報間の相関に基づく新しい注意メカニズムモジュールを提案し、この相関を信頼と名付けます。新しいアテンションメカニズムは、ローカルとグローバルのコンテキスト情報を同時に抽出し、それらの間の信頼度を計算してから、この信頼度を使用して入力ピクセルを再調整します。ローカルおよびグローバルのコンテキスト情報を抽出すると、機能の多様性が高まります。自信を持って再調整することで、無駄な情報を抑制し、より少ないパラメータで有益な情報を強化します。実験ではCIFAR-10とCIFAR-100を使用し、十分なアブレーション研究によってメソッドのコンポーネントのパフォーマンスを調査します。最後に、私たちの方法をさまざまな最先端の畳み込みニューラルネットワークと比較し、その結果は、私たちの方法がこれらのモデルを完全に上回っていることを示しています。 ConAMはPythonライブラリであるPytorchを使用して実装されており、コードとモデルは公開されます。
The so-called "attention" is an efficient mechanism to improve the performance of convolutional neural networks. It uses contextual information to recalibrate the input to strengthen the propagation of informative features. However, the majority of the attention mechanisms only consider either local or global contextual information, which is singular to extract features. Moreover, many existing mechanisms directly use the contextual information to recalibrate the input, which unilaterally enhances the propagation of the informative features, but does not suppress the useless ones. This paper proposes a new attention mechanism module based on the correlation between local and global contextual information and we name this correlation as confidence. The novel attention mechanism extracts the local and global contextual information simultaneously, and calculates the confidence between them, then uses this confidence to recalibrate the input pixels. The extraction of local and global contextual information increases the diversity of features. The recalibration with confidence suppresses useless information while enhancing the informative one with fewer parameters. We use CIFAR-10 and CIFAR-100 in our experiments and explore the performance of our method's components by sufficient ablation studies. Finally, we compare our method with a various state-of-the-art convolutional neural networks and the results show that our method completely surpasses these models. We implement ConAM with the Python library, Pytorch, and the code and models will be publicly available.
updated: Sat Mar 19 2022 06:57:50 GMT+0000 (UTC)
published: Wed Oct 27 2021 12:06:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト