画像などの高次元データの多くの形式が実際には低次元多様体上に存在するという仮定 (多様体仮説とも呼ばれます) は、深層学習がどのように、そしてなぜ機能するかについての私たちの直感の多くの根底にあります。それらが私たちの直感で果たす中心的な役割にもかかわらず、データ多様体は、高次元でまばらにサンプリングされた画像データセットの場合、驚くほど測定が困難です。データマニホールドを測定する機能は、ディープラーニングモデルの内部の仕組みとダイナミクスを明らかにするウィンドウを提供するため、これは特にイライラします.これに動機付けられて、微分幾何学のフレームの概念に触発された斬新で使いやすいツールであるニューラル フレームを紹介します。ニューラル フレームを使用すると、利用可能なデータポイントが 1 つしかない場合でも、ニューラル ネットワークの隠れ層を通過するデータ多様体のローカル近傍を探索できます。ニューラル フレームの数学的フレームワークを提示し、そのプロパティのいくつかを調べます。次に、それらを使用して、最新のモデル アーキテクチャとトレーニング ルーチン (重度の拡張や敵対的トレーニングなど) がモデルのローカル動作にどのように影響するかについて、さまざまな観察を行います。
The assumption that many forms of high-dimensional data, such as images, actually live on low-dimensional manifolds, sometimes known as the manifold hypothesis, underlies much of our intuition for how and why deep learning works. Despite the central role that they play in our intuition, data manifolds are surprisingly hard to measure in the case of high-dimensional, sparsely sampled image datasets. This is particularly frustrating since the capability to measure data manifolds would provide a revealing window into the inner workings and dynamics of deep learning models. Motivated by this, we introduce neural frames, a novel and easy to use tool inspired by the notion of a frame from differential geometry. Neural frames can be used to explore the local neighborhoods of data manifolds as they pass through the hidden layers of neural networks even when one only has a single datapoint available. We present a mathematical framework for neural frames and explore some of their properties. We then use them to make a range of observations about how modern model architectures and training routines, such as heavy augmentation and adversarial training, affect the local behavior of a model.