arXiv reaDer
The Local Elasticity of Neural Networks
 この論文では、局所弾性と呼ぶニューラルネットワークの現象を示します。大まかに言えば、分類器は、(ラベル付けされた)特徴ベクトル\ bxでの確率的勾配降下を介して分類器が更新された後、特徴ベクトル\ bx 'での予測が大幅に摂動されない場合、局所的に弾性であると言われます'ある意味で。この現象は、実際のデータセットおよび合成データセットでの広範なシミュレーションを通じて、非線形活性化機能を備えたニューラルネットワークで持続することが示されていますが、線形分類器では観察されません。さらに、ニューラルタンジェントカーネルjacot2018neuralを使用して、局所弾性の幾何学的解釈を提供します。局所弾性に基づいて構築し、特徴ベクトル間のペアワイズ類似度測定値を取得します。これは、K-meansと組み合わせてクラスタリングに使用できます。 MNISTおよびCIFAR-10データセットでのクラスタリングアルゴリズムの有効性は、実際のデータでのニューラルネットワークの局所弾性の仮説を裏付けています。最後に、ディープニューラルネットワークのいくつかの興味深い側面に光を当てるために、局所弾性の意味を説明します。
This paper presents a phenomenon in neural networks that we refer to as local elasticity. Roughly speaking, a classifier is said to be locally elastic if its prediction at a feature vector \bx' is not significantly perturbed, after the classifier is updated via stochastic gradient descent at a (labeled) feature vector \bx that is dissimilar to \bx' in a certain sense. This phenomenon is shown to persist for neural networks with nonlinear activation functions through extensive simulations on real-life and synthetic datasets, whereas this is not observed in linear classifiers. In addition, we offer a geometric interpretation of local elasticity using the neural tangent kernel jacot2018neural. Building on top of local elasticity, we obtain pairwise similarity measures between feature vectors, which can be used for clustering in conjunction with K-means. The effectiveness of the clustering algorithm on the MNIST and CIFAR-10 datasets in turn corroborates the hypothesis of local elasticity of neural networks on real-life data. Finally, we discuss some implications of local elasticity to shed light on several intriguing aspects of deep neural networks.
updated: Sat Feb 15 2020 02:04:50 GMT+0000 (UTC)
published: Tue Oct 15 2019 17:35:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト