arXiv reaDer
高相関特徴による予測
Predicting with High Correlation Features
ディープネットワークは、実際のオブジェクトの特徴を学習する代わりに、トレーニングセットとテストセット間で共有される堅牢でない(スプリアス)識別特徴を活用する傾向があることが示されています。したがって、このようなテストセットで最先端のパフォーマンスを達成する一方で、IID(独立した同一の分布)の仮定が破られ、非ロバストな特徴の分布がシフトする分布外(OOD)サンプルで一般化が不十分になります。このホワイトペーパーでは、分布シフトを、トレーニングセット内のターゲットとの相関が低いテスト時間中の入力フィーチャの分布のシフトと見なします。この定義の下で、既存の堅牢な特徴学習方法と正則化方法を評価し、トレーニングセットで高い相関特徴を具体的にキャプチャするように設計されたベースラインと比較します。制御されたテストベッドとして、色付きMNIST(C-MNIST)データセットを設計し、このセットでトレーニングされた既存のメソッドがこのデータセットのOODバージョンで一般化できず、低相関色の特徴に過剰適合していることを示します。これは、高い相関特性を学習するように設計された同じC-MNISTデータでトレーニングされたベースラインメソッドによって回避され、バニラMNIST、MNIST-M、およびSVHNデータセットのテストセットで一般化できます。コードはhttps://github.com/salesforce/corr_based_predictionから入手できます。
It has been shown that instead of learning actual object features, deep networks tend to exploit non-robust (spurious) discriminative features that are shared between training and test sets. Therefore, while they achieve state of the art performance on such test sets, they achieve poor generalization on out of distribution (OOD) samples where the IID (independent, identical distribution) assumption breaks and the distribution of non-robust features shifts. In this paper, we consider distribution shift as a shift in the distribution of input features during test time that exhibit low correlation with targets in the training set. Under this definition, we evaluate existing robust feature learning methods and regularization methods and compare them against a baseline designed to specifically capture high correlation features in training set. As a controlled test-bed, we design a colored MNIST (C-MNIST) dataset and find that existing methods trained on this set fail to generalize well on an OOD version this dataset, showing that they overfit the low correlation color features. This is avoided by the baseline method trained on the same C-MNIST data, which is designed to learn high correlation features, and is able to generalize on the test sets of vanilla MNIST, MNIST-M and SVHN datasets. Our code is available at https://github.com/salesforce/corr_based_prediction.
updated: Sat Nov 16 2019 19:39:27 GMT+0000 (UTC)
published: Tue Oct 01 2019 00:48:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト