arXiv reaDer
ABCP: Automatic Block-wise and Channel-wise Network Pruning via Joint Search
現在、深層学習モデルに必要なコンピューター能力とリソースに制約のあるデバイスとの間の矛盾を解決するために、ますます多くのモデルプルーニング方法が提案されています。ただし、従来のルールベースのネットワークプルーニング方法のほとんどは、精度の低下が少なく、十分な圧縮率に達することができず、時間と手間がかかります。この論文では、自動ブロックワイズおよびチャネルワイズネットワークプルーニング(ABCP)を提案し、ブロックワイズおよびチャネルワイズのプルーニングアクションを深層強化学習と共同で検索します。離散および連続探索空間からそれぞれ、各残余ブロックの剪定選択と各畳み込み層のチャネル剪定比を同時に生成するために、共同サンプルアルゴリズムが提案されています。モデルの精度と複雑さの両方を考慮に入れた最良の剪定アクションが最終的に得られます。従来のルールベースのプルーニング方法と比較して、このパイプラインは人的労力を節約し、より低い精度損失でより高い圧縮率を実現します。移動ロボット検出データセットでテストされた、剪定されたYOLOv3モデルは、99.5%のFLOPを節約し、99.5%のパラメーターを削減し、わずか2.8%のmAP損失で37.3倍の速度向上を実現します。 sim2real検出データセットでの転送タスクの結果は、プルーニングされたモデルの堅牢性のパフォーマンスがはるかに優れていることも示しています。
Currently, an increasing number of model pruning methods are proposed to resolve the contradictions between the computer powers required by the deep learning models and the resource-constrained devices. However, most of the traditional rule-based network pruning methods can not reach a sufficient compression ratio with low accuracy loss and are time-consuming as well as laborious. In this paper, we propose Automatic Block-wise and Channel-wise Network Pruning (ABCP) to jointly search the block-wise and channel-wise pruning action with deep reinforcement learning. A joint sample algorithm is proposed to simultaneously generate the pruning choice of each residual block and the channel pruning ratio of each convolutional layer from the discrete and continuous search space respectively. The best pruning action taking both the accuracy and the complexity of the model into account is obtained finally. Compared with the traditional rule-based pruning method, this pipeline saves human labor and achieves a higher compression ratio with lower accuracy loss. Tested on the mobile robot detection dataset, the pruned YOLOv3 model saves 99.5% FLOPs, reduces 99.5% parameters, and achieves 37.3 times speed up with only 2.8% mAP loss. The results of the transfer task on the sim2real detection dataset also show that our pruned model has much better robustness performance.
updated: Fri Oct 08 2021 02:15:49 GMT+0000 (UTC)
published: Fri Oct 08 2021 02:15:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト