arXiv reaDer
Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures
AlexNet、VGGNet、ResNet、GoogleNet などの主要な受賞歴のある畳み込みニューラル ネットワーク (CNN) には、数千万から数億のパラメーターが含まれており、かなりの計算とメモリのオーバーヘッドが必要です。これにより、トレーニング、最適化、およびメモリ効率に対する実際の使用が制限されます。それどころか、この問題に対処するために提案されている軽量アーキテクチャは、主に精度が低いという欠点があります。これらの非効率性は、ほとんどの場合、その場しのぎの手順に従うことに起因します。一連の設計原則に基づいて、SimpleNet と呼ばれるシンプルなアーキテクチャを提案します。これにより、巧妙に作成されたシンプルで適度に深いアーキテクチャが、より深くより複雑なアーキテクチャと同等に機能することが経験的に示されます。 SimpleNet は、計算/メモリ効率と精度の間の適切なトレードオフを提供します。当社の単純な 13 層アーキテクチャは、VGGNet、ResNet、GoogleNet などのこれまでのより深く複雑なアーキテクチャのほとんどを、いくつかの有名なベンチマークで上回っていますが、パラメーターと操作の数は 2 ~ 25 分の 1 です。これにより、組み込みシステムや、計算とメモリの制限があるシステムに非常に便利です。私たちは、CIFAR10 で最先端の結果を達成し、MNIST で最先端の状態に近く、CIFAR100 と SVHN で競合するいくつかのより重いアーキテクチャを凌駕しました。また、ImageNet データセットでは、VGGNet や ResNets の一般的なバリアントなど、はるかに大規模でより深いアーキテクチャよりも優れたパフォーマンスを発揮しました。モデルは で入手できます。
Major winning Convolutional Neural Networks (CNNs), such as AlexNet, VGGNet, ResNet, GoogleNet, include tens to hundreds of millions of parameters, which impose considerable computation and memory overhead. This limits their practical use for training, optimization and memory efficiency. On the contrary, light-weight architectures, being proposed to address this issue, mainly suffer from low accuracy. These inefficiencies mostly stem from following an ad hoc procedure. We propose a simple architecture, called SimpleNet, based on a set of designing principles, with which we empirically show, a well-crafted yet simple and reasonably deep architecture can perform on par with deeper and more complex architectures. SimpleNet provides a good tradeoff between the computation/memory efficiency and the accuracy. Our simple 13-layer architecture outperforms most of the deeper and complex architectures to date such as VGGNet, ResNet, and GoogleNet on several well-known benchmarks while having 2 to 25 times fewer number of parameters and operations. This makes it very handy for embedded systems or systems with computational and memory limitations. We achieved state-of-the-art result on CIFAR10 outperforming several heavier architectures, near state of the art on MNIST and competitive results on CIFAR100 and SVHN. We also outperformed the much larger and deeper architectures such as VGGNet and popular variants of ResNets among others on the ImageNet dataset. Models are made available at:
updated: Thu Apr 27 2023 16:20:03 GMT+0000 (UTC)
published: Mon Aug 22 2016 02:50:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト