深いCNNモデルを加速するために、この論文では、入力画像に従ってピクセル単位のスパース性を動的に生成できる新しい空間適応フレームワークを提案します。スパーススキームは、ピクセル単位で洗練され、統一された重要度マップの下で地域に適応するため、ハードウェアの実装に適しています。さまざまな精度/遅延要件を持つアプリケーションのオンライン調整を可能にするために、スパース制御方法がさらに提示されます。スパースモデルは、幅広い視覚タスクに適用できます。実験結果は、この方法がResNet-18を使用した画像分類とSRResNetを使用した超解像の両方の計算効率を効率的に改善することを示しています。画像分類タスクでは、私たちの方法で30%〜70%のMACを節約でき、トップ1とトップ5の精度がわずかに低下します。超解像タスクでは、私たちの方法は90%以上のMACを削減できますが、PSNRとSSIMは約0.1dBと0.01減少します。ハードウェア検証も含まれています。
To accelerate deep CNN models, this paper proposes a novel spatially adaptive framework that can dynamically generate pixel-wise sparsity according to the input image. The sparse scheme is pixel-wise refined, regional adaptive under a unified importance map, which makes it friendly to hardware implementation. A sparse controlling method is further presented to enable online adjustment for applications with different precision/latency requirements. The sparse model is applicable to a wide range of vision tasks. Experimental results show that this method efficiently improve the computing efficiency for both image classification using ResNet-18 and super resolution using SRResNet. On image classification task, our method can save 30%-70% MACs with a slightly drop in top-1 and top-5 accuracy. On super resolution task, our method can reduce more than 90% MACs while only causing around 0.1 dB and 0.01 decreasing in PSNR and SSIM. Hardware validation is also included.