ディープニューラルネットワーク(DNN)は、多くの現実の問題を解決するのに効果的です。 DNNモデルが大きいほど、通常は品質(精度など)が高くなりますが、計算が多すぎると推論時間が長くなります。モデルのスパース化により、モデルの品質を維持しながら、計算とメモリのコストを削減できます。ほとんどの既存のスパース化アルゴリズムは一方向に重みを削除しますが、他のアルゴリズムは剪定のために各レイヤーの重みの小さなサブセットをランダムまたは貪欲に探索します。これらのアルゴリズムの制限により、達成可能なスパース性のレベルが低下します。さらに、多くのアルゴリズムでは、事前にトレーニングされた高密度モデルが必要であるため、メモリフットプリントが大きくなります。この論文では、高密度モデルを事前にトレーニングすることなく、新しいスケジュールされた成長と剪定(GaP)の方法論を提案します。これは、レイヤーのサブセットを繰り返し密に成長させ、トレーニング後にそれらをスパースに戻すことによって、以前の作業の欠点に対処します。実験によると、提案された方法を使用して剪定されたモデルは、画像分類、客観的検出、3Dオブジェクトパーツのセグメンテーション、変換などのさまざまなタスクで、高度に最適化された高密度モデルの品質と80%のスパース性で一致または打ち負かされます。また、モデルのスパース化のための他の最先端(SOTA)の方法よりも優れています。例として、GaPを介して取得された90%の不均一なスパースResNet-50モデルは、ImageNetで77.9%のトップ1精度を達成し、以前のSOTAの結果を1.5%改善します。すべてのコードは公開されます。
Deep neural networks (DNNs) are effective in solving many real-world problems. Larger DNN models usually exhibit better quality (e.g., accuracy) but their excessive computation results in long inference time. Model sparsification can reduce the computation and memory cost while maintaining model quality. Most existing sparsification algorithms unidirectionally remove weights, while others randomly or greedily explore a small subset of weights in each layer for pruning. The limitations of these algorithms reduce the level of achievable sparsity. In addition, many algorithms still require pre-trained dense models and thus suffer from large memory footprint. In this paper, we propose a novel scheduled grow-and-prune (GaP) methodology without having to pre-train a dense model. It addresses the shortcomings of the previous works by repeatedly growing a subset of layers to dense and then pruning them back to sparse after some training. Experiments show that the models pruned using the proposed methods match or beat the quality of the highly optimized dense models at 80% sparsity on a variety of tasks, such as image classification, objective detection, 3D object part segmentation, and translation. They also outperform other state-of-the-art (SOTA) methods for model sparsification. As an example, a 90% non-uniform sparse ResNet-50 model obtained via GaP achieves 77.9% top-1 accuracy on ImageNet, improving the previous SOTA results by 1.5%. All code will be publicly released.