最先端のディープニューラルネットワークでは、機能の正規化と機能の注意の両方がユビキタスになっています。 %膨大な量のタスクでパフォーマンスが大幅に向上しました。ただし、これらは通常、個別のモジュールとして学習されます。この論文では、2つのスキーマと現在の注意深い正規化(AN)の間の軽量統合を提案します。単一のアフィン変換を学習する代わりに、ANはアフィン変換の混合を学習し、インスタンス固有の方法で機能を再較正するために適用される最終的なアフィン変換としてそれらの加重和を利用します。重みは、チャネルごとの機能の注意を活用することによって学習されます。実験では、ImageNet-1000分類ベンチマークとMS-COCO 2017オブジェクト検出およびインスタンスセグメンテーションベンチマークの4つの代表的なニューラルアーキテクチャを使用して、提案されたANをテストします。 ANは、ImageNet-1000のトップ1の精度が0.5%から2.7%の間で絶対的に増加し、MS-のバウンディングボックスとマスクAPで最大1.8%から2.2%まで絶対的に増加することで、両方のベンチマークでさまざまなニューラルアーキテクチャの一貫したパフォーマンスの向上を実現します。それぞれCOCO。提案されたANは、広く使用されているSqueeze-and-Excitation(SE)モジュールの強力な代替手段を提供することを確認しました。ソースコードは、https://github.com/iVMCL/AOGNet-v2(ImageNet分類リポジトリ)およびhttps://github.com/iVMCL/AttentiveNorm\_Detection(MS-COCO検出およびセグメンテーションリポジトリ)で公開されています。 。
In state-of-the-art deep neural networks, both feature normalization and feature attention have become ubiquitous. % with significant performance improvement shown in a vast amount of tasks. They are usually studied as separate modules, however. In this paper, we propose a light-weight integration between the two schema and present Attentive Normalization (AN). Instead of learning a single affine transformation, AN learns a mixture of affine transformations and utilizes their weighted-sum as the final affine transformation applied to re-calibrate features in an instance-specific way. The weights are learned by leveraging channel-wise feature attention. In experiments, we test the proposed AN using four representative neural architectures in the ImageNet-1000 classification benchmark and the MS-COCO 2017 object detection and instance segmentation benchmark. AN obtains consistent performance improvement for different neural architectures in both benchmarks with absolute increase of top-1 accuracy in ImageNet-1000 between 0.5% and 2.7%, and absolute increase up to 1.8% and 2.2% for bounding box and mask AP in MS-COCO respectively. We observe that the proposed AN provides a strong alternative to the widely used Squeeze-and-Excitation (SE) module. The source codes are publicly available at https://github.com/iVMCL/AOGNet-v2 (the ImageNet Classification Repo) and https://github.com/iVMCL/AttentiveNorm\_Detection (the MS-COCO Detection and Segmentation Repo).