arXiv reaDer
Towards Efficient Model Compression via Learned Global Ranking
 剪定畳み込みフィルターは、ConvNetの圧縮における効果を実証しています。フィルタープルーニングの従来技術では、結果のアーキテクチャのターゲットモデルの複雑さ(モデルサイズやFLOPカウントなど)を指定する必要があります。ただし、自律型ロボット、ドローン、ユーザー向けアプリケーションなど、さまざまな具体化されたAIアプリケーションを最適化するには、ターゲットモデルの複雑さを判断することは困難です。まず、ConvNetsの精度と速度の両方がアプリケーションのパフォーマンスに影響を与える可能性があります。第二に、推論中にConvNetsを評価しないと、アプリケーションのパフォーマンスを評価するのが難しい場合があります。結果として、試行錯誤の方法で実行する必要があるフィルタープルーニングを介して、精度と速度の間のスイートスポットを見つけることは時間がかかる可能性があります。この作業は、モデル圧縮の目標を変更して、事前定義された遅延制約を対象とする1つのConvNetを生成する代わりに、さまざまな精度と遅延のトレードオフを備えたConvNetのセットを生成することにより、このプロセスをより効率的にするための第一歩を踏み出します。この目的のために、ConvNetの異なるレイヤー全体でフィルターのグローバルランクを学習することを提案します。これは、下位ランクのフィルターをプルーニングすることで、精度とレイテンシのトレードオフが異なるConvNetアーキテクチャのセットを取得するために使用されます。提案されたアルゴリズムLeGRは、CIFAR-100データセットで異なる精度/ FLOPプロファイルを持つ7つの剪定ResNet-56をターゲットにした場合に、同等またはより優れたパフォーマンスを持ちながら、以前の作業よりも2倍から3倍高速であることが示されています。さらに、ResNet-50とMobileNetV2を使用してImageNetとBird-200でLeGRを評価し、その効果を実証しました。で利用可能なコード。
Pruning convolutional filters has demonstrated its effectiveness in compressing ConvNets. Prior art in filter pruning requires users to specify a target model complexity (e.g., model size or FLOP count) for the resulting architecture. However, determining a target model complexity can be difficult for optimizing various embodied AI applications such as autonomous robots, drones, and user-facing applications. First, both the accuracy and the speed of ConvNets can affect the performance of the application. Second, the performance of the application can be hard to assess without evaluating ConvNets during inference. As a consequence, finding a sweet-spot between the accuracy and speed via filter pruning, which needs to be done in a trial-and-error fashion, can be time-consuming. This work takes a first step toward making this process more efficient by altering the goal of model compression to producing a set of ConvNets with various accuracy and latency trade-offs instead of producing one ConvNet targeting some pre-defined latency constraint. To this end, we propose to learn a global ranking of the filters across different layers of the ConvNet, which is used to obtain a set of ConvNet architectures that have different accuracy/latency trade-offs by pruning the bottom-ranked filters. Our proposed algorithm, LeGR, is shown to be 2x to 3x faster than prior work while having comparable or better performance when targeting seven pruned ResNet-56 with different accuracy/FLOPs profiles on the CIFAR-100 dataset. Additionally, we have evaluated LeGR on ImageNet and Bird-200 with ResNet-50 and MobileNetV2 to demonstrate its effectiveness. Code available at
updated: Sat Mar 14 2020 05:53:58 GMT+0000 (UTC)
published: Sun Apr 28 2019 18:51:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト