arXiv reaDer
畳み込みユニット最適化によるバッチホワイトニングの一般化の改善
Improving Generalization of Batch Whitening by Convolutional Unit Optimization
バッチホワイトニングは、入力特徴をゼロ平均(センタリング)と単位分散(スケーリング)に変換し、チャネル間の線形相関を削除する(非相関)ことにより、トレーニングを加速および安定化する手法です。バッチ正規化で経験的に最適化された一般的に使用される構造では、正規化レイヤーは畳み込み関数と活性化関数の間に表示されます。次のバッチホワイトニング研究では、さらに分析することなく同じ構造を採用しています。バッチホワイトニングでさえ、線形レイヤーの入力がホワイトニングされることを前提として分析されました。ギャップを埋めるために、理論に沿った新しい畳み込みユニットを提案します。この方法では、一般にバッチホワイトニングのパフォーマンスが向上します。さらに、特徴のランクと相関を調査することにより、元の畳み込みユニットの非効率性を示します。私たちの方法は既製のホワイトニングモジュールを採用しているため、最先端のホワイトニングモジュールである反復正規化(IterNorm)を使用し、5つの画像分類データセット(CIFAR-10、CIFAR-100)でパフォーマンスを大幅に向上させます。 、CUB-200-2011、Stanford Dogs、およびImageNet。特に、大きな学習率、グループサイズ、反復回数を使用すると、この方法によってホワイトニングの安定性とパフォーマンスが向上することを確認します。
Batch Whitening is a technique that accelerates and stabilizes training by transforming input features to have a zero mean (Centering) and a unit variance (Scaling), and by removing linear correlation between channels (Decorrelation). In commonly used structures, which are empirically optimized with Batch Normalization, the normalization layer appears between convolution and activation function. Following Batch Whitening studies have employed the same structure without further analysis; even Batch Whitening was analyzed on the premise that the input of a linear layer is whitened. To bridge the gap, we propose a new Convolutional Unit that is in line with the theory, and our method generally improves the performance of Batch Whitening. Moreover, we show the inefficacy of the original Convolutional Unit by investigating rank and correlation of features. As our method is employable off-the-shelf whitening modules, we use Iterative Normalization (IterNorm), the state-of-the-art whitening module, and obtain significantly improved performance on five image classification datasets: CIFAR-10, CIFAR-100, CUB-200-2011, Stanford Dogs, and ImageNet. Notably, we verify that our method improves stability and performance of whitening when using large learning rate, group size, and iteration number.
updated: Tue Nov 02 2021 06:52:23 GMT+0000 (UTC)
published: Tue Aug 24 2021 10:27:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト