剪定は、より低い計算要件と引き換えに精度を犠牲にするニューラルネットワーク最適化手法です。プルーニングは、tinyMLで非常に制約のある環境で作業する場合に役立ちました。残念ながら、特別なハードウェア要件と、すでにコンパクトなモデルでのその有効性に関する限られた研究により、その幅広い採用が妨げられています。深さの剪定は、特別なハードウェアを必要としない剪定の形式ですが、精度が大幅に低下します。これを改善するために、中間特徴マップの効果的なインタプリタとして非常に効率的な補助ネットワークを利用する修正を提案します。私たちの結果は、MLPerfTiny Visual Wakewords(VWW)タスクで93%、Keyword Spotting(KWS)タスクで28%のパラメーター削減を示しており、精度コストはそれぞれ0.65%と1.06%です。 Cortex-M0マイクロコントローラーで評価すると、提案された方法では、VWWモデルのサイズが4.7倍、レイテンシーが1.6倍になり、直感的に1%の精度が得られます。 Cortex-M0のKWSモデルサイズも1.2倍に削減され、レイテンシは1.2倍に削減されましたが、精度は2.21%でした。
Pruning is a neural network optimization technique that sacrifices accuracy in exchange for lower computational requirements. Pruning has been useful when working with extremely constrained environments in tinyML. Unfortunately, special hardware requirements and limited study on its effectiveness on already compact models prevent its wider adoption. Depth pruning is a form of pruning that requires no specialized hardware but suffers from a large accuracy falloff. To improve this, we propose a modification that utilizes a highly efficient auxiliary network as an effective interpreter of intermediate feature maps. Our results show a parameter reduction of 93% on the MLPerfTiny Visual Wakewords (VWW) task and 28% on the Keyword Spotting (KWS) task with accuracy cost of 0.65% and 1.06% respectively. When evaluated on a Cortex-M0 microcontroller, our proposed method reduces the VWW model size by 4.7x and latency by 1.6x while counter intuitively gaining 1% accuracy. KWS model size on Cortex-M0 was also reduced by 1.2x and latency by 1.2x at the cost of 2.21% accuracy.