「モバイルAI」革命が成長し続けるにつれて、エッジ展開されたディープニューラルネットワークの動作を理解する必要もあります。特に、MobileNetsは、モバイル向けのディープ畳み込みニューラルネットワーク(CNN)の頼れるファミリーです。ただし、トレーニング後の量子化では、精度が大幅に低下することがよくあります。研究では、この課題に取り組むために量子化対応のトレーニングやその他の方法が導入されていますが、MobileNet(および一般に深さ方向に分離可能なCNN(DWSCNN))が他のCNNアーキテクチャと比較して量子化が非常に不十分である理由についての理解は限られています。この現象についてより深い洞察を得ることを目的として、私たちは別の戦略を取り、MobileNet-V1、一連の小さなDWSCNN、および通常のCNNのマルチスケール分布ダイナミクスを研究します。具体的には、情報がレイヤーからレイヤーに伝播するときの重みとアクティベーションの分布ダイナミクス、およびネットワークレベルでの分布ダイナミクスの全体的な変化に対する量子化の影響を調査します。このきめ細かい分析により、DWSCNNのチャネルごとの分布とレイヤーごとの分布の間に大きなダイナミックレンジの変動と「分布の不一致」が明らかになり、情報の伝播中に量子化された劣化と分布のシフトが増加しました。さらに、アクティベーション量子化エラーの分析は、通常のCNNと比較してDWSCNNに大きな量子化エラーの蓄積があることを示しています。そのような洞察が、そのような分布ダイナミクスの変化を減らし、モバイルのトレーニング後の量子化を改善するための革新的な戦略につながることが期待されています。
As the "Mobile AI" revolution continues to grow, so does the need to understand the behaviour of edge-deployed deep neural networks. In particular, MobileNets are the go-to family of deep convolutional neural networks (CNN) for mobile. However, they often have significant accuracy degradation under post-training quantization. While studies have introduced quantization-aware training and other methods to tackle this challenge, there is limited understanding into why MobileNets (and potentially depthwise-separable CNNs (DWSCNN) in general) quantize so poorly compared to other CNN architectures. Motivated to gain deeper insights into this phenomenon, we take a different strategy and study the multi-scale distributional dynamics of MobileNet-V1, a set of smaller DWSCNNs, and regular CNNs. Specifically, we investigate the impact of quantization on the weight and activation distributional dynamics as information propagates from layer to layer, as well as overall changes in distributional dynamics at the network level. This fine-grained analysis revealed significant dynamic range fluctuations and a "distributional mismatch" between channelwise and layerwise distributions in DWSCNNs that lead to increasing quantized degradation and distributional shift during information propagation. Furthermore, analysis of the activation quantization errors show that there is greater quantization error accumulation in DWSCNN compared to regular CNNs. The hope is that such insights can lead to innovative strategies for reducing such distributional dynamics changes and improve post-training quantization for mobile.