ネットワーク圧縮は現在、ニューラル ネットワーク研究の成熟したサブ分野です。過去 10 年間で、分類精度を維持しながらモデルのサイズを縮小し、推論を高速化することに向けて大きな進歩が見られました。しかし、多くの研究では、全体的な精度だけに焦点を当てるのは誤った方向に向かう可能性があることが観察されています。たとえば、完全モデルと圧縮モデルの間の不一致は、過小評価されたクラスに偏る可能性があることが示されています。これにより、元のネットワークとの「意味上の同等性」を維持しながらネットワーク圧縮を達成できるかという重要な研究上の疑問が生じます。この研究では、Feldman らが観察したコンピューター ビジョン データセットの「ロングテール」現象の文脈でこの疑問を研究します。彼らは、適切な一般化を達成するには、特定のインプット(適切に定義されたもの)を暗記することが不可欠であると主張しています。圧縮によってネットワークの容量 (したがって記憶能力も制限される) が制限されるため、私たちは次の疑問を研究します: 完全なモデルと圧縮されたモデルの間の不一致は、記憶されたトレーニング データと相関関係があるのか?我々は、さまざまな基本アーキテクチャと圧縮スキームを考慮することにより、画像分類タスクに関するこの方向での明確な証拠を提示します。
Network compression is now a mature sub-field of neural network research: over the last decade, significant progress has been made towards reducing the size of models and speeding up inference, while maintaining the classification accuracy. However, many works have observed that focusing on just the overall accuracy can be misguided. E.g., it has been shown that mismatches between the full and compressed models can be biased towards under-represented classes. This raises the important research question, can we achieve network compression while maintaining "semantic equivalence" with the original network? In this work, we study this question in the context of the "long tail" phenomenon in computer vision datasets observed by Feldman, et al. They argue that memorization of certain inputs (appropriately defined) is essential to achieving good generalization. As compression limits the capacity of a network (and hence also its ability to memorize), we study the question: are mismatches between the full and compressed models correlated with the memorized training data? We present positive evidence in this direction for image classification tasks, by considering different base architectures and compression schemes.