arXiv reaDer
Instance Enhancement Batch Normalization: an Adaptive Regulator of Batch Noise
  Batch Normalization(BN)(Ioffe and Szegedy 2015)は、画像のバッチの統計を介して入力画像の特徴を正規化します。したがって、BNはノイズをトレーニング損失の勾配にもたらします。以前の研究では、ノイズはディープニューラルネットワークの最適化と一般化に重要ですが、ノイズが多すぎるとネットワークのパフォーマンスが損なわれることが示されています。この論文では、自己注意メカニズムがインスタンス固有の情報を強化することでノイズを調整し、より良い正則化効果を得ることができるという新しい視点を提供します。したがって、単純な線形変換によって各チャネルの情報を再調整するインスタンス強化バッチ正規化(IEBN)と呼ばれる注意ベースのBNを提案します。 IEBNには、トレーニング中に2種類のノイズ攻撃がある場合でも、ノイズを調整し、ネットワークトレーニングを安定させて一般化を改善する優れた能力があります。最後に、IEBNは、さまざまなネットワーク構造とベンチマークデータセットの画像分類タスクで、パラメータの増加が少ないだけでBNよりも優れています。
Batch Normalization (BN)(Ioffe and Szegedy 2015) normalizes the features of an input image via statistics of a batch of images and hence BN will bring the noise to the gradient of the training loss. Previous works indicate that the noise is important for the optimization and generalization of deep neural networks, but too much noise will harm the performance of networks. In our paper, we offer a new point of view that self-attention mechanism can help to regulate the noise by enhancing instance-specific information to obtain a better regularization effect. Therefore, we propose an attention-based BN called Instance Enhancement Batch Normalization (IEBN) that recalibrates the information of each channel by a simple linear transformation. IEBN has a good capacity of regulating noise and stabilizing network training to improve generalization even in the presence of two kinds of noise attacks during training. Finally, IEBN outperforms BN with only a light parameter increment in image classification tasks for different network structures and benchmark datasets.
updated: Wed Sep 18 2019 02:52:32 GMT+0000 (UTC)
published: Mon Aug 12 2019 05:42:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト