arXiv reaDer
EfficientNet の効率化: バッチに依存しない正規化、グループ畳み込み、および低解像度トレーニングの調査
Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training
最近の多くの研究は、画像分類のトレーニングと推論の効率を改善することに専念しています。この取り組みは、通常、FLOP ごとの ImageNet 検証精度として測定される理論上の効率を明示的に改善することに重点を置いています。ただし、これらの理論上の節約は、特に高性能のトレーニング アクセラレータでは、実際に達成するのが難しいことが証明されています。この作業では、新しいクラスのアクセラレータである Graphcore IPU での最先端の EfficientNet モデルの実用的な効率の改善に焦点を当てています。これを行うには、このモデル ファミリーを次の方法で拡張します。(i) 深さ方向の畳み込みをグループ畳み込みに一般化する。 (ii) プロキシ正規化アクティベーションを追加して、バッチ正規化パフォーマンスをバッチ独立統計と一致させます。 (iii) トレーニングの解像度を下げることでコンピューティングを削減し、より高い解像度で安価に微調整します。これら 3 つの方法により、トレーニングと推論の両方で実用的な効率が向上することがわかりました。私たちのコードはオンラインで利用可能になります。
Much recent research has been dedicated to improving the efficiency of training and inference for image classification. This effort has commonly focused on explicitly improving theoretical efficiency, often measured as ImageNet validation accuracy per FLOP. These theoretical savings have, however, proven challenging to achieve in practice, particularly on high-performance training accelerators. In this work, we focus on improving the practical efficiency of the state-of-the-art EfficientNet models on a new class of accelerator, the Graphcore IPU. We do this by extending this family of models in the following ways: (i) generalising depthwise convolutions to group convolutions; (ii) adding proxy-normalized activations to match batch normalization performance with batch-independent statistics; (iii) reducing compute by lowering the training resolution and inexpensively fine-tuning at higher resolution. We find that these three methods improve the practical efficiency for both training and inference. Our code will be made available online.
updated: Fri Jun 11 2021 14:10:55 GMT+0000 (UTC)
published: Mon Jun 07 2021 14:10:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト