構造化されたプルーニングによる既存のモデル圧縮方法は、通常、複雑な多段階の手順を必要とします。個々の段階ごとに、多数のエンジニアリング作業とエンド ユーザーからのドメイン知識が必要になるため、幅広いアプリケーションをより幅広いシナリオに適用することができなくなります。私たちは、第 2 世代の Only-Train-Once (OTOv2) を提案します。これは、一般的な DNN を最初から 1 回だけ自動的にトレーニングして圧縮し、微調整を行うことなく、競争力のあるパフォーマンスを備えたよりコンパクトなモデルを生成します。 OTOv2 は自動化されており、さまざまな深層学習アプリケーションにプラグイン可能であり、ユーザーのエンジニアリング作業はほとんど必要ありません。方法論的に、OTOv2 は 2 つの主要な改善を提案します。 (ii) Dual Half-Space Projected Gradient (DHSPG): 構造化スパース性の問題をより確実に解決するための新しいオプティマイザー。数値的に、VGG、ResNet、CARN、ConvNeXt、DenseNet、StackedUnets などのさまざまなモデル アーキテクチャでの OTOv2 の一般性と自律性を示します。これらのアーキテクチャの大部分は、大規模な手作りの努力なしでは他の方法では処理できません。 CIFAR10/100、DIV2K、Fashion-MNIST、SVNH、ImageNet などのベンチマーク データセットと合わせて、その有効性は最先端の技術よりも優れたパフォーマンスを発揮することで検証されます。ソース コードは https://github.com/tianyic/only_train_once で入手できます。
The existing model compression methods via structured pruning typically require complicated multi-stage procedures. Each individual stage necessitates numerous engineering efforts and domain-knowledge from the end-users which prevent their wider applications onto broader scenarios. We propose the second generation of Only-Train-Once (OTOv2), which first automatically trains and compresses a general DNN only once from scratch to produce a more compact model with competitive performance without fine-tuning. OTOv2 is automatic and pluggable into various deep learning applications, and requires almost minimal engineering efforts from the users. Methodologically, OTOv2 proposes two major improvements: (i) Autonomy: automatically exploits the dependency of general DNNs, partitions the trainable variables into Zero-Invariant Groups (ZIGs), and constructs the compressed model; and (ii) Dual Half-Space Projected Gradient (DHSPG): a novel optimizer to more reliably solve structured-sparsity problems. Numerically, we demonstrate the generality and autonomy of OTOv2 on a variety of model architectures such as VGG, ResNet, CARN, ConvNeXt, DenseNet and StackedUnets, the majority of which cannot be handled by other methods without extensive handcrafting efforts. Together with benchmark datasets including CIFAR10/100, DIV2K, Fashion-MNIST, SVNH and ImageNet, its effectiveness is validated by performing competitively or even better than the state-of-the-arts. The source code is available at https://github.com/tianyic/only_train_once.