arXiv reaDer
自動グラフエンコーダー-モデル圧縮とネットワークアクセラレーション用のデコーダー
Auto Graph Encoder-Decoder for Model Compression and Network Acceleration
モデル圧縮は、コンピューティング能力とストレージリソースが限られているモバイルデバイスにディープニューラルネットワーク(DNN)を展開することを目的としています。ただし、既存のモデル圧縮方法のほとんどは手動で定義されたルールに依存しているため、ドメインの専門知識が必要です。この論文では、最適な圧縮ポリシーを見つけるために、グラフニューラルネットワーク(GNN)と強化学習(RL)を組み合わせた自動グラフエンコーダ-デコーダモデル圧縮(AGMC)メソッドを提案します。ターゲットDNNをグラフとしてモデル化し、GNNを使用してDNNの埋め込みを自動的に学習します。私たちの実験では、最初に私たちの方法をルールベースのDNN埋め込み方法と比較して、グラフの自動エンコーダーデコーダーの有効性を示しました。学習ベースのDNN埋め込みにより、少ない検索ステップでパフォーマンスと圧縮率が向上しました。さらに、CIFAR-10およびILSVRC-2012データセットでAGMCを評価し、手作りと学習ベースのモデル圧縮アプローチを比較しました。私たちの方法は、ResNet-56での手作りの方法と学習ベースの方法をそれぞれ3.6%と1.8%高い精度で上回りました。さらに、MobileNet-V2で最先端の方法よりも高い圧縮率を達成し、精度はわずか0.93%低下しました。
Model compression aims to deploy deep neural networks (DNN) to mobile devices with limited computing power and storage resource. However, most of the existing model compression methods rely on manually defined rules, which requires domain expertise. In this paper, we propose an Auto Graph encoder-decoder Model Compression (AGMC) method combined with graph neural networks (GNN) and reinforcement learning (RL) to find the best compression policy. We model the target DNN as a graph and use GNN to learn the embeddings of the DNN automatically. In our experiments, we first compared our method with rule-based DNN embedding methods to show the graph auto encoder-decoder's effectiveness. Our learning-based DNN embedding achieved better performance and a higher compression ratio with fewer search steps. Moreover, we evaluated the AGMC on CIFAR-10 and ILSVRC-2012 datasets and compared handcrafted and learning-based model compression approaches. Our method outperformed handcrafted and learning-based methods on ResNet-56 with 3.6% and 1.8% higher accuracy, respectively. Furthermore, we achieved a higher compression ratio than state-of-the-art methods on MobileNet-V2 with just 0.93% accuracy loss.
updated: Thu Dec 31 2020 04:20:20 GMT+0000 (UTC)
published: Wed Nov 25 2020 11:05:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト