データ拡張は、特にコンピュータービジョンにおいて、堅牢なニューラルネットワークをトレーニングするためのレシピの重要な要素です。基本的な問題は、ニューラルネットワークの機能がデータ拡張変換をエンコードするかどうかです。この質問に答えるために、ニューラルネットワークのどの層が増強変換を最も予測するかを調査するための体系的なアプローチを紹介します。私たちのアプローチでは、事前にトレーニングされたビジョンモデルの機能を使用し、追加の処理を最小限に抑えて、拡張によって変換される一般的なプロパティ(スケール、アスペクト比、色相、彩度、コントラスト、明るさ)を予測します。驚くべきことに、ニューラルネットワーク機能はデータ拡張変換を予測するだけでなく、多くの変換を高精度で予測します。ニューラルネットワークが拡張変換に対応する機能をエンコードすることを検証した後、拡張信号がより深い層でフェードするものの、これらの機能が最新のCNNの初期層でエンコードされることを示します。
Data augmentations are important ingredients in the recipe for training robust neural networks, especially in computer vision. A fundamental question is whether neural network features encode data augmentation transformations. To answer this question, we introduce a systematic approach to investigate which layers of neural networks are the most predictive of augmentation transformations. Our approach uses features in pre-trained vision models with minimal additional processing to predict common properties transformed by augmentation (scale, aspect ratio, hue, saturation, contrast, and brightness). Surprisingly, neural network features not only predict data augmentation transformations, but they predict many transformations with high accuracy. After validating that neural networks encode features corresponding to augmentation transformations, we show that these features are encoded in the early layers of modern CNNs, though the augmentation signal fades in deeper layers.