arXiv reaDer
宝くじを使用した多試行ニューラル アーキテクチャ検索
Multi-trial Neural Architecture Search with Lottery Tickets
ニューラル アーキテクチャ検索 (NAS) は、最近の画像認識タスクに大きな進歩をもたらしました。ほとんどの既存の NAS メソッドは、検索モデルの上限パフォーマンスを制限する制限された検索スペースを適用します。この問題に対処するために、MobileNet3-MT という名前の新しい検索空間を提案します。ネットワークのオムニ ディメンションにおける人間の事前知識を削減することで、MobileNet3-MT はより多くの潜在的な候補に対応します。この挑戦的な検索空間で検索するために、MENAS と呼ばれる効率的な Multi-trial Evolution ベースの NAS メソッドを提示します。具体的には、集団内のモデルを徐々に剪定することにより、進化的検索プロセスを加速します。各モデルは早期停止でトレーニングされ、宝くじチケット (探索された最適なプルーニングされたネットワーク) に置き換えられます。このようにして、面倒なネットワークの完全なトレーニング パイプラインが回避され、より効率的なネットワークが自動的に生成されます。 ImageNet-1K、CIFAR-10、および CIFAR-100 に関する広範な実験結果は、MENAS が最先端のパフォーマンスを達成することを示しています。
Neural architecture search (NAS) has brought significant progress in recent image recognition tasks. Most existing NAS methods apply restricted search spaces, which limits the upper-bound performance of searched models. To address this issue, we propose a new search space named MobileNet3-MT. By reducing human-prior knowledge in omni dimensions of networks, MobileNet3-MT accommodates more potential candidates. For searching in this challenging search space, we present an efficient Multi-trial Evolution-based NAS method termed MENAS. Specifically, we accelerate the evolutionary search process by gradually pruning models in the population. Each model is trained with an early stop and replaced by its Lottery Tickets (the explored optimal pruned network).In this way, the full training pipeline of cumbersome networks is prevented and more efficient networks are automatically generated. Extensive experimental results on ImageNet-1K, CIFAR-10, and CIFAR-100 demonstrate that MENAS achieves state-of-the-art performance.
updated: Sat Dec 03 2022 03:02:42 GMT+0000 (UTC)
published: Tue Mar 08 2022 09:14:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト