arXiv reaDer
ResNetの逆襲: timmでの改良された学習手順
ResNet strikes back: An improved training procedure in timm
Heらによって設計された影響力のある残差ネットワークは、多くの科学論文で絶対的な基準のアーキテクチャとして使用されている。これらのアーキテクチャは、研究におけるデフォルトのアーキテクチャとして、あるいは新しいアーキテクチャが提案された際のベースラインとしての役割を果たしている。しかし、2015年にResNetアーキテクチャが発表されて以来、ニューラルネットワークのトレーニングのベストプラクティスについて大きな進展があった。新たな最適化とデータ拡張により、トレーニングレシピの有効性が高まっている。本論文では、このような進歩を統合した手順でトレーニングした場合のバニラのResNet-50の性能を再評価する。我々は、競争力のある学習設定と事前に学習されたモデルをtimmオープンソースライブラリで共有し、将来の研究のためのより良いベースラインとして役立つことを期待している。例えば、我々のより厳しい学習設定では、バニラのResNet-50は、追加データや蒸留なしでImageNet-valの解像度224x224で80.4%のトップ1精度を達成している。また、一般的なモデルについて、我々の学習方法で得られた性能を報告する。
The influential Residual Networks designed by He et al. remain the gold-standard architecture in numerous scientific publications. They typically serve as the default architecture in studies, or as baselines when new architectures are proposed. Yet there has been significant progress on best practices for training neural networks since the inception of the ResNet architecture in 2015. Novel optimization & data-augmentation have increased the effectiveness of the training recipes. In this paper, we re-evaluate the performance of the vanilla ResNet-50 when trained with a procedure that integrates such advances. We share competitive training settings and pre-trained models in the timm open-source library, with the hope that they will serve as better baselines for future work. For instance, with our more demanding training setting, a vanilla ResNet-50 reaches 80.4% top-1 accuracy at resolution 224x224 on ImageNet-val without extra data or distillation. We also report the performance achieved with popular models with our training procedure.
updated: Fri Oct 01 2021 15:09:22 GMT+0000 (UTC)
published: Fri Oct 01 2021 15:09:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト