畳み込みニューラル ネットワーク (CNN) は、パラメーター共有原理によりパラメーターがはるかに少ないにもかかわらず、完全に接続されたニューラル ネットワークよりも優れた視覚認識パフォーマンスを達成できます。現代のアーキテクチャには通常、少数の完全に接続された層が含まれており、多くの場合、複数の層の畳み込みの後、最後に含まれています。場合によっては、認識パフォーマンスを損なうことなく、ほとんどの畳み込みを削除できます。ただし、認識作業の大部分を担う畳み込みニューロンの隠れたサブセットを検出する確実なレシピはありません。この作業では、バニラの一般化パフォーマンスを維持しながら、できるだけ多くのカーネルをプルーニングすることを目的とするプルーニング問題としてこれを定式化します。この目的のために、個々の畳み込みカーネルの重要性を評価するための文献の事実上の標準であるカーネルの平均絶対重みと比較して、枝刈りの固有値に基づく行列特性を使用し、内部CIFAR-10、CIFAR-100、および Tiny ImageNet データセットを使用した画像分類問題のための、広く使用されている CNN ファミリー、すなわち残差ニューラル ネットワーク (ResNet) のメカニズム。
Convolutional neural networks (CNNs) are able to attain better visual recognition performance than fully connected neural networks despite having much fewer parameters due to their parameter sharing principle. Modern architectures usually contain a small number of fully-connected layers, often at the end, after multiple layers of convolutions. In some cases, most of the convolutions can be eliminated without suffering any loss in recognition performance. However, there is no solid recipe to detect the hidden subset of convolutional neurons that is responsible for the majority of the recognition work. In this work, we formulate this as a pruning problem where the aim is to prune as many kernels as possible while preserving the vanilla generalization performance. To this end, we use the matrix characteristics based on eigenvalues for pruning, in comparison to the average absolute weight of a kernel which is the de facto standard in the literature to assess the importance of an individual convolutional kernel, to shed light on the internal mechanisms of a widely used family of CNNs, namely residual neural networks (ResNets), for the image classification problem using CIFAR-10, CIFAR-100 and Tiny ImageNet datasets.