ミックスアップは、データ ポイントとそのラベルのランダムな凸結合を使用したトレーニングに依存するデータ拡張手法です。近年、Mixup は、一般化とロバスト性に関する経験的リスクの最小化よりも優れた利点が実証されているため、最先端の画像分類モデルのトレーニングに使用される標準プリミティブになりました。この作業では、機能学習の観点から、この成功の一部を説明しようとします。各クラスが、クラスを正しく予測するために使用できる複数の関連する機能 (またはビュー) を持つ可能性がある分類の問題に注意を向けます。私たちの主な理論的結果は、クラスごとに 2 つの機能を持つ自明でないデータ分布のクラスの場合、経験的リスク最小化を使用して 2 層畳み込みネットワークをトレーニングすると、特定のインスタンス化でトレーニングしながら、ほぼすべてのクラスに対して 1 つの機能のみを学習できることを示しています。 of Mixup は、クラスごとに両方の機能を学習することに成功しています。また、これらの理論的洞察が、追加の合成機能を持つように変更された画像ベンチマークの実際の設定にまで及ぶことも経験的に示しています。
Mixup is a data augmentation technique that relies on training using random convex combinations of data points and their labels. In recent years, Mixup has become a standard primitive used in the training of state-of-the-art image classification models due to its demonstrated benefits over empirical risk minimization with regards to generalization and robustness. In this work, we try to explain some of this success from a feature learning perspective. We focus our attention on classification problems in which each class may have multiple associated features (or views) that can be used to predict the class correctly. Our main theoretical results demonstrate that, for a non-trivial class of data distributions with two features per class, training a 2-layer convolutional network using empirical risk minimization can lead to learning only one feature for almost all classes while training with a specific instantiation of Mixup succeeds in learning both features for every class. We also show empirically that these theoretical insights extend to the practical settings of image benchmarks modified to have additional synthetic features.