arXiv reaDer
パラメータなしの Average Attention は、畳み込みニューラル ネットワークのパフォーマンスを (ほぼ) 無料で向上させます
Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge
視覚は、周囲の世界の関連する側面に焦点を当てることによって促進されます。この観察結果をコンピューターのデジタル情報処理に移すために、顕著な画像領域を強調する注意メカニズムが導入されました。ここでは、シンプルでありながら効果的なモジュールである PfAAM と呼ばれるパラメーターフリーのアテンション メカニズムを紹介します。モデルのサイズに影響を与えることなく、わずかな計算オーバーヘッドで、さまざまな畳み込みニューラル ネットワーク アーキテクチャにプラグインできます。 PfAAM は、分類とセグメント化のために複数のアーキテクチャでテストされ、テストされたすべてのケースでモデルのパフォーマンスが向上しました。これは、コンピューター ビジョン タスク用の一般的な使いやすいモジュールとしての幅広い適用性を示しています。 PfAAM の実装は、https://github.com/nkoerb/pfaam にあります。
Visual perception is driven by the focus on relevant aspects in the surrounding world. To transfer this observation to the digital information processing of computers, attention mechanisms have been introduced to highlight salient image regions. Here, we introduce a parameter-free attention mechanism called PfAAM, that is a simple yet effective module. It can be plugged into various convolutional neural network architectures with a little computational overhead and without affecting model size. PfAAM was tested on multiple architectures for classification and segmentic segmentation leading to improved model performance for all tested cases. This demonstrates its wide applicability as a general easy-to-use module for computer vision tasks. The implementation of PfAAM can be found on https://github.com/nkoerb/pfaam.
updated: Fri Oct 14 2022 13:56:43 GMT+0000 (UTC)
published: Fri Oct 14 2022 13:56:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト