この論文では、識別可能性の観点からバッチ正規化を分析し、以前の研究では無視されていた欠点を見つけます。サンプル特徴の l_2 ノルムの違いにより、バッチ正規化がより顕著なクラス間特徴とよりコンパクトなクラス内特徴を取得するのを妨げる可能性があります。この問題に対処するために、サンプル機能の l_2 ノルムを均等化するためのシンプルで効果的な方法を提案します。具体的には、各サンプルの特徴をバッチ正規化に供給する前に l_2 正規化するため、特徴は同じ大きさになります。提案された方法は l_2 正規化とバッチ正規化を組み合わせているため、この方法を L_2BN と名付けます。 L_2BN は、クラス内特徴のコンパクトさを強化し、クラス間特徴の不一致を拡大することができます。 L_2BN は実装が簡単で、追加のパラメーターやハイパーパラメーターなしでその効果を発揮できます。画像分類および音響シーン分類タスクに関するさまざまなモデルを使用した広範な実験を通じて、L_2BN の有効性を評価します。この結果は、L_2BN がさまざまなニューラル ネットワーク モデルの汎化能力を高め、パフォーマンスを大幅に改善できることを示しています。
In this paper, we analyze batch normalization from the perspective of discriminability and find the disadvantages ignored by previous studies: the difference in l_2 norms of sample features can hinder batch normalization from obtaining more distinguished inter-class features and more compact intra-class features. To address this issue, we propose a simple yet effective method to equalize the l_2 norms of sample features. Concretely, we l_2-normalize each sample feature before feeding them into batch normalization, and therefore the features are of the same magnitude. Since the proposed method combines the l_2 normalization and batch normalization, we name our method L_2BN. The L_2BN can strengthen the compactness of intra-class features and enlarge the discrepancy of inter-class features. The L_2BN is easy to implement and can exert its effect without any additional parameters or hyper-parameters. We evaluate the effectiveness of L_2BN through extensive experiments with various models on image classification and acoustic scene classification tasks. The results demonstrate that the L_2BN can boost the generalization ability of various neural network models and achieve considerable performance improvements.