機械学習の中心的な問題は、深いネットが高次元でタスクを学習する方法です。魅力的な仮説は、タスクに関係のない情報が失われたデータの表現を構築することで、この偉業を達成したというものです。画像データセットの場合、このビューは、トレーニングの後 (前ではなく)、信号がネットを介して伝播するにつれて、画像に作用する微分同相に対する神経表現の感度が低下するという観測によって裏付けられています。この感度の低下はパフォーマンスと相関しており、驚くべきことに、トレーニング中に獲得したホワイト ノイズに対する感度の向上と相関しています。これらの事実は説明されておらず、ホワイト ノイズがトレーニング セットの画像に追加された場合でも、実証されているように有効です。ここで、(i) 空間プーリングとチャネル プーリングの両方によって画像微分同相写像に対する安定性が達成されることをさまざまなアーキテクチャについて経験的に示し、(ii) 空間プーリングに関する経験的観測を再現するモデル スケール検出タスクを導入し、(iii) どのように解析的に計算するかを示します。空間プーリングによる深さのある微分同相およびノイズスケールに対する感度。スケーリングは、ネット アーキテクチャ内のストライドの存在に依存することがわかっています。ノイズに対する感度の増加は、ReLUユニットによって修正された後、プーリング中に積み重なる摂動ノイズによるものであることがわかりました。
A central question of machine learning is how deep nets manage to learn tasks in high dimensions. An appealing hypothesis is that they achieve this feat by building a representation of the data where information irrelevant to the task is lost. For image datasets, this view is supported by the observation that after (and not before) training, the neural representation becomes less and less sensitive to diffeomorphisms acting on images as the signal propagates through the net. This loss of sensitivity correlates with performance, and surprisingly correlates with a gain of sensitivity to white noise acquired during training. These facts are unexplained, and as we demonstrate still hold when white noise is added to the images of the training set. Here, we (i) show empirically for various architectures that stability to image diffeomorphisms is achieved by both spatial and channel pooling, (ii) introduce a model scale-detection task which reproduces our empirical observations on spatial pooling and (iii) compute analitically how the sensitivity to diffeomorphisms and noise scales with depth due to spatial pooling. The scalings are found to depend on the presence of strides in the net architecture. We find that the increased sensitivity to noise is due to the perturbing noise piling up during pooling, after being rectified by ReLU units.