現代のディープニューラルネットワークは、トレーニングされたデータと比較して非常にパラメーター化されていますが、非常によく一般化されていることがよくあります。最近の仕事の急増は尋ねました:なぜ深いネットワークは彼らのトレーニングデータに過剰適合しないのですか?この作業では、より深いネットワークが帰納的にバイアスされて、より低いランクの埋め込みを持つソリューションを見つけるという仮説を調査する一連の経験的観察を行います。このバイアスが存在するのは、低ランクの埋め込みにマッピングされる関数の量が深さとともに増加するためであると推測されます。私たちの主張が有限幅の線形モデルと非線形モデルに当てはまることを経験的に示し、これらがよく一般化するソリューションであることを示します。次に、一般的に使用されるさまざまなオプティマイザーを使用して、トレーニング後も低ランクの単純性バイアスが存在することを示します。この現象は、初期化、ハイパーパラメータ、および学習方法に対して回復力があることがわかりました。さらに、深い非線形モデルの線形オーバーパラメーター化を使用して低ランクのバイアスを誘発し、有効なモデル容量を変更せずに一般化パフォーマンスを向上させる方法を示します。実際には、トレーニング時に標準モデルを単純に線形にオーバーパラメーター化すると、ImageNetを含む画像分類タスクのパフォーマンスが向上することを示しています。
Modern deep neural networks are highly over-parameterized compared to the data on which they are trained, yet they often generalize remarkably well. A flurry of recent work has asked: why do deep networks not overfit to their training data? In this work, we make a series of empirical observations that investigate the hypothesis that deeper networks are inductively biased to find solutions with lower rank embeddings. We conjecture that this bias exists because the volume of functions that maps to low-rank embedding increases with depth. We show empirically that our claim holds true on finite width linear and non-linear models and show that these are the solutions that generalize well. We then show that the low-rank simplicity bias exists even after training, using a wide variety of commonly used optimizers. We found this phenomenon to be resilient to initialization, hyper-parameters, and learning methods. We further demonstrate how linear over-parameterization of deep non-linear models can be used to induce low-rank bias, improving generalization performance without changing the effective model capacity. Practically, we demonstrate that simply linearly over-parameterizing standard models at training time can improve performance on image classification tasks, including ImageNet.