ミリワットスケールのエッジデバイス(tinyML)に機械学習(ML)を導入することは、MLとIoTの最近の進歩により人気が高まっています。ただし、tinyMLの機能は、厳密な電力と計算の制約によって制限されます。 tinyMLの現在の研究の大部分は、モデルの剪定や量子化などのモデル圧縮技術に焦点を当てて、MLモデルをローエンドデバイスに適合させています。それにもかかわらず、積極的な圧縮はモデルの容量と精度を急速に低下させるため、既存の技術によって得られるエネルギー消費と推論時間の改善は限られています。モデル容量を維持しながら推論時間を改善したり、電力を削減したりするための別のアプローチは、早期終了ネットワークを使用することです。これらのネットワークは、中間分類器がその予測に十分な信頼性を示した場合にニューラルネットワーク計算からの早期終了を容易にするベースラインニューラルネットワークに沿って中間分類器を配置します。早期終了ネットワークに関するこれまでの作業は、tinyMLアプリケーションに通常使用されるものを超えて、大規模なネットワークに焦点を合わせていました。このホワイトペーパーでは、最先端のtiny-CNNに早期終了を追加する際の課題について説明し、これらの課題に対処する早期終了アーキテクチャであるT-RECXを考案します。さらに、早期出口で学習した高レベルの表現を活用することにより、最終出口でのネットワークの考えすぎの影響を軽減する方法を開発します。 MLPerfの小さなベンチマークスイートの3つのCNNでT-RECXを評価し、画像分類、キーワードスポッティング、視覚的なウェイクワード検出タスクを実行します。私たちの結果は、T-RECXがベースラインネットワークの精度を向上させ、tiny-CNNの平均推論時間を大幅に短縮することを示しています。 T-RECXは、評価されたすべてのモデルで1%の精度と引き換えに、FLOPSの平均32.58%の削減を達成します。また、私たちの手法は、評価する3つのモデルのうち2つでベースラインネットワークの精度を向上させます
Deploying Machine learning (ML) on the milliwatt-scale edge devices (tinyML) is gaining popularity due to recent breakthroughs in ML and IoT. However, the capabilities of tinyML are restricted by strict power and compute constraints. The majority of the contemporary research in tinyML focuses on model compression techniques such as model pruning and quantization to fit ML models on low-end devices. Nevertheless, the improvements in energy consumption and inference time obtained by existing techniques are limited because aggressive compression quickly shrinks model capacity and accuracy. Another approach to improve inference time and/or reduce power while preserving its model capacity is through early-exit networks. These networks place intermediate classifiers along a baseline neural network that facilitate early exit from neural network computation if an intermediate classifier exhibits sufficient confidence in its prediction. Previous work on early-exit networks have focused on large networks, beyond what would typically be used for tinyML applications. In this paper, we discuss the challenges of adding early-exits to state-of-the-art tiny-CNNs and devise an early-exit architecture, T-RECX, that addresses these challenges. In addition, we develop a method to alleviate the effect of network overthinking at the final exit by leveraging the high-level representations learned by the early-exit. We evaluate T-RECX on three CNNs from the MLPerf tiny benchmark suite for image classification, keyword spotting and visual wake word detection tasks. Our results demonstrate that T-RECX improves the accuracy of baseline network and significantly reduces the average inference time of tiny-CNNs. T-RECX achieves 32.58% average reduction in FLOPS in exchange for 1% accuracy across all evaluated models. Also, our techniques increase the accuracy of baseline network in two out of three models we evaluate