arXiv reaDer
Greedy Network Enlarging
深い畳み込みニューラルネットワークに関する最近の研究では、アーキテクチャ設計の単純なパラダイムが示されています。つまり、EfficientNetやRegNetなど、より多くのMACを備えたモデルは通常より高い精度を実現します。これらの作品は、サンプリングと統計的手法により、モデルのすべての段階を1つの統一されたルールで拡大しようとしています。ただし、一部のネットワークアーキテクチャのMACと精度は類似していますが、ステージごとの計算での割り当てはまったく異なります。この論文では、ステージレベルでの幅、深さ、解像度を改善することにより、CNNモデルの容量を拡大することを提案します。最高のパフォーマンスを発揮する小さなCNNは、最高のパフォーマンスを発揮する大きなCNNの適切なサブコンポーネントであるという仮定の下で、計算の再割り当てに基づく貪欲なネットワーク拡大法を提案します。さまざまな段階で計算を段階的に変更することで、拡大されたネットワークには、MACの最適な割り当てと利用が装備されます。 EfficientNetでは、私たちの方法は一貫して元のスケーリング方法のパフォーマンスを上回っています。特に、GhostNetにこの方法を適用することで、600Mおよび4.4B MACの設定で、それぞれ最先端の80.9%および84.3%のImageNetトップ1精度を達成します。
Recent studies on deep convolutional neural networks present a simple paradigm of architecture design, i.e., models with more MACs typically achieve better accuracy, such as EfficientNet and RegNet. These works try to enlarge all the stages in the model with one unified rule by sampling and statistical methods. However, we observe that some network architectures have similar MACs and accuracies, but their allocations on computations for different stages are quite different. In this paper, we propose to enlarge the capacity of CNN models by improving their width, depth and resolution on stage level. Under the assumption that the top-performing smaller CNNs are a proper subcomponent of the top-performing larger CNNs, we propose an greedy network enlarging method based on the reallocation of computations. With step-by-step modifying the computations on different stages, the enlarged network will be equipped with optimal allocation and utilization of MACs. On EfficientNet, our method consistently outperforms the performance of the original scaling method. In particular, with application of our method on GhostNet, we achieve state-of-the-art 80.9% and 84.3% ImageNet top-1 accuracies under the setting of 600M and 4.4B MACs, respectively.
updated: Wed Aug 04 2021 08:07:19 GMT+0000 (UTC)
published: Sat Jul 31 2021 08:36:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト