arXiv reaDer
圧縮されたディープニューラルネットワークは何を忘れますか?
What Do Compressed Deep Neural Networks Forget?
ディープニューラルネットワークのプルーニングと量子化の手法により、テストセットの精度を驚くほど低下させることなく、高レベルの圧縮を実現できることが実証されています。ただし、このパフォーマンスの測定では、異なるクラスや画像がモデル圧縮技術によってどのように影響を受けるかについて、大きな違いが隠されています。根本的に異なる重みの数を持つモデルは、同等のトップラインパフォーマンスメトリックを持っていますが、データセットの狭いサブセットでの動作はかなり異なります。データポイントのこの小さなサブセットは、剪定識別例(PIE)と呼ばれ、スパース性の導入により体系的に影響を受けます。圧縮は、データ分布の不十分なロングテールでのモデルのパフォーマンスに過度に影響を与えます。人間とアルゴリズムの両方が分類するのがはるかに困難な、非定型またはノイズの多い画像にPIEが過剰にインデックス付けされます。私たちの仕事は、ディープニューラルネットワークにおける容量の役割と、圧縮によって発生するトレードオフについての直観を提供します。圧縮されたモデルが広く普及していることを考えると、このさまざまな影響を理解することが重要です。
Deep neural network pruning and quantization techniques have demonstrated it is possible to achieve high levels of compression with surprisingly little degradation to test set accuracy. However, this measure of performance conceals significant differences in how different classes and images are impacted by model compression techniques. We find that models with radically different numbers of weights have comparable top-line performance metrics but diverge considerably in behavior on a narrow subset of the dataset. This small subset of data points, which we term Pruning Identified Exemplars (PIEs) are systematically more impacted by the introduction of sparsity. Compression disproportionately impacts model performance on the underrepresented long-tail of the data distribution. PIEs over-index on atypical or noisy images that are far more challenging for both humans and algorithms to classify. Our work provides intuition into the role of capacity in deep neural networks and the trade-offs incurred by compression. An understanding of this disparate impact is critical given the widespread deployment of compressed models in the wild.
updated: Mon Jul 13 2020 18:24:24 GMT+0000 (UTC)
published: Wed Nov 13 2019 02:02:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト