arXiv reaDer
Micro-Batch Training with Batch-Channel Normalization and Weight Standardization
バッチ正規化(BN)は、ディープネットワークトレーニングを改善するための独創的な手法になっています。ただし、その有効性はマイクロバッチトレーニングでは制限されます。つまり、各GPUには通常、トレーニング用の画像が1〜2枚しかありません。これは、メモリ消費によって制約される、多くのコンピュータービジョンタスク(オブジェクト検出やセマンティックセグメンテーションなど)では避けられません。この問題に対処するために、ウェイト標準化(WS)およびバッチチャネル正規化(BCN)を提案し、BNの2つの成功要因をマイクロバッチトレーニングに取り入れます。1)損失のランドスケープへの平滑化効果、および2)有害を回避する機能トレーニング軌道に沿った特異点の除去。 WSは、コンボリューションレイヤーの重みを標準化して、損失と勾配のリプシッツ定数を減らすことにより、損失の状況を滑らかにします。 BCNは、バッチとチャネルの正規化を組み合わせ、畳み込み層でのアクティベーションの推定統計を利用して、ネットワークを除去特異点から遠ざけます。画像分類、オブジェクト検出、インスタンスセグメンテーション、ビデオ認識、セマンティックセグメンテーションなど、包括的なコンピュータービジョンタスクでWSおよびBCNを検証します。すべての実験結果は、WSおよびBCNがマイクロバッチトレーニングを大幅に改善することを一貫して示しています。さらに、マイクロバッチトレーニングでWSおよびBCNを使用すると、ラージバッチトレーニングでBNのパフォーマンスと同等またはそれ以上のパフォーマンスを発揮することもできます。
Batch Normalization (BN) has become an out-of-box technique to improve deep network training. However, its effectiveness is limited for micro-batch training, i.e., each GPU typically has only 1-2 images for training, which is inevitable for many computer vision tasks, e.g., object detection and semantic segmentation, constrained by memory consumption. To address this issue, we propose Weight Standardization (WS) and Batch-Channel Normalization (BCN) to bring two success factors of BN into micro-batch training: 1) the smoothing effects on the loss landscape and 2) the ability to avoid harmful elimination singularities along the training trajectory. WS standardizes the weights in convolutional layers to smooth the loss landscape by reducing the Lipschitz constants of the loss and the gradients; BCN combines batch and channel normalizations and leverages estimated statistics of the activations in convolutional layers to keep networks away from elimination singularities. We validate WS and BCN on comprehensive computer vision tasks, including image classification, object detection, instance segmentation, video recognition and semantic segmentation. All experimental results consistently show that WS and BCN improve micro-batch training significantly. Moreover, using WS and BCN with micro-batch training is even able to match or outperform the performances of BN with large-batch training.
updated: Sun Aug 09 2020 21:25:15 GMT+0000 (UTC)
published: Mon Mar 25 2019 18:00:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト