arXiv reaDer
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
 ディープラーニングは、主にGPUなどの強力なコンピューティングデバイスにより、近年人気が高まっています。ただし、これらのディープモデルをエンドユーザーデバイス、スマートフォン、またはリソースが限られている組み込みシステムに展開することは困難です。計算とメモリのコストを削減するために、LPRNetと呼ばれる低ランクの点ごとの残差(LPR)畳み込みによる新しい軽量の深層学習モジュールを提案します。基本的に、LPRは、ポイント単位の畳み込みで低ランクの近似を使用してモジュールサイズをさらに削減することを目的としていますが、LPRモジュールを修正する残差モジュールとして深さの畳み込みを維持します。これは、低ランクが畳み込みプロセスを損なう場合に重要です。 MobileNetとShuffleNetv2で同じ入出力ディメンションのモジュールを置き換えることにより、設計を具体化します。一般的なベンチマークでの画像分類や顔の位置合わせなどの視覚認識タスクの実験では、LPRNetは競争力のあるパフォーマンスを達成しますが、モデル圧縮に焦点を合わせた最先端のディープモデルと比較して、Flopsとメモリコストが大幅に削減されます。
Deep learning has become popular in recent years primarily due to the powerful computing device such as GPUs. However, deploying these deep models to end-user devices, smart phones, or embedded systems with limited resources is challenging. To reduce the computation and memory costs, we propose a novel lightweight deep learning module by low-rank pointwise residual (LPR) convolution, called LPRNet. Essentially, LPR aims at using low-rank approximation in pointwise convolution to further reduce the module size, while keeping depthwise convolutions as the residual module to rectify the LPR module. This is critical when the low-rankness undermines the convolution process. We embody our design by replacing modules of identical input-output dimension in MobileNet and ShuffleNetv2. Experiments on visual recognition tasks including image classification and face alignment on popular benchmarks show that our LPRNet achieves competitive performance but with significant reduction of Flops and memory cost compared to the state-of-the-art deep models focusing on model compression.
updated: Thu Nov 14 2019 22:44:48 GMT+0000 (UTC)
published: Fri Oct 25 2019 17:23:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト