うまく機能する深層学習モデルは、多くの場合、計算コストが高くなります。このホワイトペーパーでは、モデルのパフォーマンスを高く維持しながら計算コストを削減しようとする2つのアプローチ、プルーニングと早期終了ネットワークを組み合わせます。早期終了ネットワークをプルーニングする2つのアプローチを評価します。(1)ネットワーク全体を一度にプルーニングする、(2)ベースネットワークと追加の線形分類器を順序付けてプルーニングする。実験結果は、ネットワーク全体を一度にプルーニングすることが一般的に優れた戦略であることを示しています。ただし、高い精度では、2つのアプローチのパフォーマンスは類似しています。これは、最適性を失うことなく、剪定と早期終了のプロセスを分離できることを意味します。
Deep learning models that perform well often have high computational costs. In this paper, we combine two approaches that try to reduce the computational cost while keeping the model performance high: pruning and early exit networks. We evaluate two approaches of pruning early exit networks: (1) pruning the entire network at once, (2) pruning the base network and additional linear classifiers in an ordered fashion. Experimental results show that pruning the entire network at once is a better strategy in general. However, at high accuracy rates, the two approaches have a similar performance, which implies that the processes of pruning and early exit can be separated without loss of optimality.