数値実験は、ディープニューラルネットワーク分類器が平均の周りのクラス分布を徐々に分離し、トレーニングセットで線形分離可能性を達成し、フィッシャー判別比を増加させることを示しています。このメカニズムを2種類の演算子で説明します。符号不変のタイトフレームにバイアスを適用しない整流器は、クラス平均を分離し、フィッシャー比を増加させることができることを証明します。反対に、タイトなフレームでのソフトしきい値は、クラス平均を維持しながら、クラス内の変動を減らすことができます。分散減少限界は、ガウス混合モデルで証明されています。画像分類については、クラス平均の分離は、学習されていない修正されたウェーブレットタイトフレームで達成できることを示します。散乱変換を定義します。散乱チャネルに沿って1×1の畳み込みタイトフレームを学習し、ソフトしきい値を適用すると、クラス内の変動が減少します。結果として得られる散乱ネットワークは、CIFAR-10およびImageNetでResNet-18の分類精度に達し、レイヤーが少なくなり、バイアスが学習されません。
Numerical experiments demonstrate that deep neural network classifiers progressively separate class distributions around their mean, achieving linear separability on the training set, and increasing the Fisher discriminant ratio. We explain this mechanism with two types of operators. We prove that a rectifier without biases applied to sign-invariant tight frames can separate class means and increase Fisher ratios. On the opposite, a soft-thresholding on tight frames can reduce within-class variabilities while preserving class means. Variance reduction bounds are proved for Gaussian mixture models. For image classification, we show that separation of class means can be achieved with rectified wavelet tight frames that are not learned. It defines a scattering transform. Learning 1 ×1 convolutional tight frames along scattering channels and applying a soft-thresholding reduces within-class variabilities. The resulting scattering network reaches the classification accuracy of ResNet-18 on CIFAR-10 and ImageNet, with fewer layers and no learned biases.