arXiv reaDer
Ensembleナレッジガイド付きサブネットワーク検索とフィルタープルーニングの微調整
Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning
従来のNASベースのプルーニングアルゴリズムは、最高の検証パフォーマンスを備えたサブネットワークを見つけることを目的としています。ただし、検証パフォーマンスは、テストパフォーマンス、つまり潜在的なパフォーマンスを正しく表すものではありません。また、パフォーマンスの低下を復元するためにプルーニングされたネットワークを微調整することは避けられないプロセスですが、この問題を処理した研究はほとんどありません。この論文は、両方の問題を同時に解決するための新しいアンサンブル知識ガイダンス(EKG)を提供します。まず、損失状況の変動が潜在的なパフォーマンスを評価するための効果的な指標になり得ることを実験的に証明します。損失状況が最もスムーズなサブネットワークを低コストで検索するために、検索報酬としてEKGを採用しています。次の検索反復に使用されるEKGは、中間サブネットワークのアンサンブル知識、つまりサブネットワーク評価の副産物で構成されます。次に、EKGを再利用して、プルーニングされたネットワークを微調整しながら、プルーニングされたネットワークに穏やかで有益なガイダンスを提供します。 EKGは両方のフェーズでメモリバンクとして実装されるため、必要なコストはごくわずかです。たとえば、ResNet-50のプルーニングとトレーニングを行う場合、パフォーマンスを低下させることなくFLOPSの約45.04%を削除するには、わずか315 GPU時間で済みます。これは、低スペックのワークステーションでも動作します。実装されたコードはhttps://github.com/sseung0703/EKGで入手できます。
Conventional NAS-based pruning algorithms aim to find the sub-network with the best validation performance. However, validation performance does not successfully represent test performance, i.e., potential performance. Also, although fine-tuning the pruned network to restore the performance drop is an inevitable process, few studies have handled this issue. This paper provides a novel Ensemble Knowledge Guidance (EKG) to solve both problems at once. First, we experimentally prove that the fluctuation of loss landscape can be an effective metric to evaluate the potential performance. In order to search a sub-network with the smoothest loss landscape at a low cost, we employ EKG as a search reward. EKG utilized for the following search iteration is composed of the ensemble knowledge of interim sub-networks, i.e., the by-products of the sub-network evaluation. Next, we reuse EKG to provide a gentle and informative guidance to the pruned network while fine-tuning the pruned network. Since EKG is implemented as a memory bank in both phases, it requires a negligible cost. For example, when pruning and training ResNet-50, just 315 GPU hours are required to remove around 45.04% of FLOPS without any performance degradation, which can operate even on a low-spec workstation. the implemented code is available at https://github.com/sseung0703/EKG.
updated: Fri Jul 08 2022 20:03:23 GMT+0000 (UTC)
published: Sat Mar 05 2022 03:43:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト