ディープニューラルネットワークは、非構造化データから豊富な機能セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現しますが、このパフォーマンスはモデルのサイズと密接に関係しています。スパース性を誘発し、モデルサイズを縮小するための最新の手法は、(1)ネットワークの剪定、(2)スパース性を誘発するペナルティを使用したトレーニング、および(3)ネットワークの重みと一緒にバイナリマスクをトレーニングすることです。ベイズ階層モデルの観点からさまざまなスパース性を誘発するペナルティを研究し、トレーニング可能なパラメーターを介して特定のネットワークの重みを適応的にスパース化することを学習する階層的適応ラッソ(HALO)と呼ばれる新しいペナルティを提示します。過剰にパラメータ化されたネットワークをトレーニングするために使用される場合、ペナルティにより、微調整なしで高精度の小さなサブネットワークが生成されます。経験的に、画像認識タスクでは、HALOが非常にスパースなネットワーク(パラメーターのわずか5%)を学習でき、同じレベルのスパース性で最先端のマグニチュードプルーニング方法よりもパフォーマンスが大幅に向上することがわかりました。コードはhttps://github.com/skyler120/sparsity-haloで入手できます。
Deep neural networks achieve state-of-the-art performance in a variety of tasks by extracting a rich set of features from unstructured data, however this performance is closely tied to model size. Modern techniques for inducing sparsity and reducing model size are (1) network pruning, (2) training with a sparsity inducing penalty, and (3) training a binary mask jointly with the weights of the network. We study different sparsity inducing penalties from the perspective of Bayesian hierarchical models and present a novel penalty called Hierarchical Adaptive Lasso (HALO) which learns to adaptively sparsify weights of a given network via trainable parameters. When used to train over-parametrized networks, our penalty yields small subnetworks with high accuracy without fine-tuning. Empirically, on image recognition tasks, we find that HALO is able to learn highly sparse network (only 5% of the parameters) with significant gains in performance over state-of-the-art magnitude pruning methods at the same level of sparsity. Code is available at https://github.com/skyler120/sparsity-halo.