arXiv reaDer
FALCON: Lightweight and Accurate Convolution
分類タスクの精度を維持しながら、畳み込みニューラルネットワーク(CNN)を効率的に圧縮するにはどうすればよいですか?標準のたたみ込みを深さ方向のたたみ込みと点ごとのたたみ込みに置き換える深さ方向の分離可能なたたみ込み(DSConv)は、軽量アーキテクチャの構築に使用されています。ただし、深さ方向に分離可能な畳み込みに基づく以前の作業は、1)標準畳み込みとの関係を正確に理解していないほとんどのヒューリスティックアプローチであり、2)精度が標準畳み込みの精度と一致しないため、トレーニング済みCNNモデルを圧縮する場合に制限されます。本論文では、CNNを圧縮するための正確で軽量な方法であるFALCONを提案する。 FALCONは、提案された数学的定式化であるGEPを使用して、標準の畳み込みカーネルを近似し、深さ方向に分離可能な畳み込みに基づいて既存の畳み込み方法を解釈します。 FALCONは、トレーニングされた標準モデルの知識を活用し、GEPを介して深さ方向に分離可能な畳み込みの順序を慎重に決定することにより、トレーニングされた標準モデルに近い十分な精度を実現します。さらに、この解釈は、k個の独立したFALCON操作を実行し、結果を合計する一般化されたバージョンのランクkFALCONの開発につながります。実験によると、FALCONは、1)深さ方向に分離可能な畳み込みとテンソル分解に基づく既存の方法よりも高い精度を提供し、2)同様の精度を確保しながら、標準畳み込みのパラメーターとFLOPの数を最大8分の1に減らします。また、rank-k FALCONは、圧縮率と計算削減率を少し犠牲にしながら、精度をさらに向上させることも示しています。
How can we efficiently compress Convolutional Neural Network (CNN) while retaining their accuracy on classification tasks? Depthwise Separable Convolution (DSConv), which replaces a standard convolution with a depthwise convolution and a pointwise convolution, has been used for building lightweight architectures. However, previous works based on depthwise separable convolution are limited when compressing a trained CNN model since 1) they are mostly heuristic approaches without a precise understanding of their relations to standard convolution, and 2) their accuracies do not match that of the standard convolution. In this paper, we propose FALCON, an accurate and lightweight method to compress CNN. FALCON uses GEP, our proposed mathematical formulation to approximate the standard convolution kernel, to interpret existing convolution methods based on depthwise separable convolution. By exploiting the knowledge of a trained standard model and carefully determining the order of depthwise separable convolution via GEP, FALCON achieves sufficient accuracy close to that of the trained standard model. Furthermore, this interpretation leads to developing a generalized version rank-k FALCON which performs k independent FALCON operations and sums up the result. Experiments show that FALCON 1) provides higher accuracy than existing methods based on depthwise separable convolution and tensor decomposition, and 2) reduces the number of parameters and FLOPs of standard convolution by up to a factor of 8 while ensuring similar accuracy. We also demonstrate that rank-k FALCON further improves the accuracy while sacrificing a bit of compression and computation reduction rates.
updated: Tue Dec 29 2020 04:31:56 GMT+0000 (UTC)
published: Wed Sep 25 2019 07:48:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト