バッチ正規化(BN)層は、これまで以上に複雑なディープニューラルネットワークアーキテクチャの基本的なコンポーネントになっています。このようなモデルでは、エッジデバイスに展開するためのアクセラレーションプロセスが必要です。ただし、BNレイヤーは、順次操作処理のために計算のボトルネックを追加します。したがって、加速プロセスの重要でありながら見過ごされがちなコンポーネントは、BNレイヤーの折りたたみです。このホワイトペーパーでは、現在のBNフォールディングアプローチが、削除できるレイヤーの数に関して最適ではないことを示しています。したがって、BNフォールディングの必要十分条件と対応する最適アルゴリズムを提供します。提案されたアプローチは、既存のベースラインを体系的に上回り、ディープニューラルネットワークの推論時間を劇的に短縮することができます。
Batch-Normalization (BN) layers have become fundamental components in the evermore complex deep neural network architectures. Such models require acceleration processes for deployment on edge devices. However, BN layers add computation bottlenecks due to the sequential operation processing: thus, a key, yet often overlooked component of the acceleration process is BN layers folding. In this paper, we demonstrate that the current BN folding approaches are suboptimal in terms of how many layers can be removed. We therefore provide a necessary and sufficient condition for BN folding and a corresponding optimal algorithm. The proposed approach systematically outperforms existing baselines and allows to dramatically reduce the inference time of deep neural networks.