データ プライバシーの問題により、小さなトレーニング セットでネットワークを高速化することは、実際には非常に重要なニーズになっています。以前の方法では、主にフィルター レベルのプルーニングを採用して、トレーニング サンプルが不足しているネットワークを高速化していました。このホワイト ペーパーでは、このシナリオでは、ブロックのドロップが根本的に優れたアプローチであることを明らかにします。より高い加速比を享受し、少数ショット設定でのレイテンシー精度のパフォーマンスが向上します。ドロップするブロックを選択するために、圧縮されたネットワークの回復の難しさを測定するための回復可能性という新しい概念を提案します。私たちの回復可能性は、ドロップするブロックを選択するのに効率的かつ効果的です。最後に、トレーニング画像の小さなセットのみを使用してネットワークを高速化する PRACTICE という名前のアルゴリズムを提案します。 PRACTICE は、以前の方法よりも大幅に優れています。レイテンシを 22% 削減するために、PRACTICE は以前の方法を ImageNet-1k で平均 7% 上回っています。また、データフリーまたはドメイン外のデータ設定でもうまく機能する、高い汎化能力を備えています。コードは https://github.com/DoctorKey/Practise にあります。
Due to data privacy issues, accelerating networks with tiny training sets has become a critical need in practice. Previous methods mainly adopt filter-level pruning to accelerate networks with scarce training samples. In this paper, we reveal that dropping blocks is a fundamentally superior approach in this scenario. It enjoys a higher acceleration ratio and results in a better latency-accuracy performance under the few-shot setting. To choose which blocks to drop, we propose a new concept namely recoverability to measure the difficulty of recovering the compressed network. Our recoverability is efficient and effective for choosing which blocks to drop. Finally, we propose an algorithm named PRACTISE to accelerate networks using only tiny sets of training images. PRACTISE outperforms previous methods by a significant margin. For 22% latency reduction, PRACTISE surpasses previous methods by on average 7% on ImageNet-1k. It also enjoys high generalization ability, working well under data-free or out-of-domain data settings, too. Our code is at https://github.com/DoctorKey/Practise.