arXiv reaDer
Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training
最近の多くの研究は、画像分類のためのトレーニングと推論の効率を改善することに専念してきました。この取り組みは一般に、理論効率を明示的に改善することに焦点を当てており、多くの場合、FLOPごとのImageNet検証精度として測定されます。ただし、これらの理論上の節約は、特に高性能のトレーニングアクセラレータで、実際に達成するのが難しいことが証明されています。この作業では、新しいクラスのアクセラレータであるGraphcoreIPUでの最先端のEfficientNetモデルの実用的な効率の向上に焦点を当てます。これを行うには、このモデルファミリを次の方法で拡張します。(i)深さ方向の畳み込みをグループ畳み込みに一般化する。 (ii)プロキシで正規化されたアクティベーションを追加して、バッチの正規化のパフォーマンスをバッチに依存しない統計と一致させます。 (iii)トレーニングの解像度を下げ、より高い解像度で安価に微調整することにより、計算を削減します。これらの3つの方法により、トレーニングと推論の両方の実用的な効率が向上することがわかります。コードはで入手できます。
Much recent research has been dedicated to improving the efficiency of training and inference for image classification. This effort has commonly focused on explicitly improving theoretical efficiency, often measured as ImageNet validation accuracy per FLOP. These theoretical savings have, however, proven challenging to achieve in practice, particularly on high-performance training accelerators. In this work, we focus on improving the practical efficiency of the state-of-the-art EfficientNet models on a new class of accelerator, the Graphcore IPU. We do this by extending this family of models in the following ways: (i) generalising depthwise convolutions to group convolutions; (ii) adding proxy-normalized activations to match batch normalization performance with batch-independent statistics; (iii) reducing compute by lowering the training resolution and inexpensively fine-tuning at higher resolution. We find that these three methods improve the practical efficiency for both training and inference. Code available at .
updated: Thu Aug 26 2021 10:23:01 GMT+0000 (UTC)
published: Mon Jun 07 2021 14:10:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト