データ プライバシーの問題により、小さなトレーニング セットでネットワークを高速化することは、実際には非常に重要なニーズになっています。以前の方法は、フィルター レベルの枝刈りによって経験的に有望な結果を達成しました。この論文では、この問題を理論的に研究し、理論的結果とよく一致する効果的なアルゴリズムを提案します。まず、最近の少数ショット圧縮アルゴリズムがオーバーフィッティングの問題に悩まされない理由を説明するために、微調整凸性仮説を提案します。それに基づいて、これらの方法を初めて説明する理論がさらに確立されます。プルーニングされたネットワークを単純に微調整する場合と比較して、機能の模倣はパラメーターの分散を小さくすることが証明されているため、最適化が容易になります。私たちの理論的結論により、ブロックのドロップは、より凸状の最適化とより高い加速率の点で、根本的に優れた少数ショット圧縮スキームであると主張します。ドロップするブロックを選択するために、圧縮されたネットワークの回復の難しさを効果的に測定するための新しいメトリックである回復可能性を提案します。最後に、小さなトレーニング セットのみを使用してネットワークを高速化する PRACTICE という名前のアルゴリズムを提案します。 PRACTICE は、以前の方法よりも大幅に優れています。レイテンシを 22% 削減するには、ImageNet-1k で以前の方法を平均 7 パーセント ポイント上回ります。また、データフリーまたはドメイン外のデータ設定でも適切に機能します。私たちのコードは https://github.com/DoctorKey/Practise にあります
Due to data privacy issues, accelerating networks with tiny training sets has become a critical need in practice. Previous methods achieved promising results empirically by filter-level pruning. In this paper, we both study this problem theoretically and propose an effective algorithm aligning well with our theoretical results. First, we propose the finetune convexity hypothesis to explain why recent few-shot compression algorithms do not suffer from overfitting problems. Based on it, a theory is further established to explain these methods for the first time. Compared to naively finetuning a pruned network, feature mimicking is proved to achieve a lower variance of parameters and hence enjoys easier optimization. With our theoretical conclusions, we claim dropping blocks is a fundamentally superior few-shot compression scheme in terms of more convex optimization and a higher acceleration ratio. To choose which blocks to drop, we propose a new metric, recoverability, to effectively measure the difficulty of recovering the compressed network. Finally, we propose an algorithm named PRACTISE to accelerate networks using only tiny training sets. PRACTISE outperforms previous methods by a significant margin. For 22% latency reduction, it surpasses previous methods by on average 7 percentage points on ImageNet-1k. It also works well under data-free or out-of-domain data settings. Our code is at https://github.com/DoctorKey/Practise