arXiv reaDer
Grow-Push-Prune: aligning deep discriminants for effective structural network compression
今日人気のあるディープアーキテクチャのほとんどは、ジェネラリストになるように手作業で設計されています。ただし、この設計手順は通常、特定のタスクに対して大規模な冗長、役に立たない、または有害な機能をもたらします。不必要に高い複雑さは、多くの実際のアプリケーション、特に強力なGPUサポートのないアプリケーションにとってディープネットを非実用的にします。この論文では、深い判別分析の観点からタスク依存のコンパクトモデルを導出することを試みます。 (1)クラス分離を最大化し、共分散にペナルティを課し、深い判別式をニューロンのコンパクトなセットと整列させることを目的としたプッシュステップと(2)を交互に繰り返す分類タスクの反復的かつプロアクティブなアプローチを提案します。 )剪定ステップ。有用性の低いニューロンや干渉するニューロンさえも破棄します。デコンボリューションは、「重要でない」フィルターの効果を逆転させ、有用な寄与源を回復するために採用されています。基本的なInceptionモジュールに基づく単純なネットワーク成長戦略は、ベースネットが提供できるよりも大きな容量を必要とする困難なタスクのために提案されています。 MNIST、CIFAR10、およびImageNetデータセットでの実験は、私たちのアプローチの有効性を示しています。 ImageNetでは、成長したInception-88モデルをプッシュおよびプルーニングすることにより、成長中に生成されたInceptionネット、残差ネット、および同様のサイズの一般的なコンパクトネットよりも正確なモデルを実現します。また、成長したInceptionネット(ハードコードされたディメンションアラインメントなし)が、同様の複雑さの残りのネットよりも明らかに優れていることも示しています。
Most of today's popular deep architectures are hand-engineered to be generalists. However, this design procedure usually leads to massive redundant, useless, or even harmful features for specific tasks. Unnecessarily high complexities render deep nets impractical for many real-world applications, especially those without powerful GPU support. In this paper, we attempt to derive task-dependent compact models from a deep discriminant analysis perspective. We propose an iterative and proactive approach for classification tasks which alternates between (1) a pushing step, with an objective to simultaneously maximize class separation, penalize co-variances, and push deep discriminants into alignment with a compact set of neurons, and (2) a pruning step, which discards less useful or even interfering neurons. Deconvolution is adopted to reverse 'unimportant' filters' effects and recover useful contributing sources. A simple network growing strategy based on the basic Inception module is proposed for challenging tasks requiring larger capacity than what the base net can offer. Experiments on the MNIST, CIFAR10, and ImageNet datasets demonstrate our approach's efficacy. On ImageNet, by pushing and pruning our grown Inception-88 model, we achieve more accurate models than Inception nets generated during growing, residual nets, and popular compact nets at similar sizes. We also show that our grown Inception nets (without hard-coded dimension alignment) clearly outperform residual nets of similar complexities.
updated: Sat Oct 02 2021 01:03:05 GMT+0000 (UTC)
published: Tue Sep 29 2020 01:29:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト