arXiv reaDer
CARS: Continuous Evolution for Efficient Neural Architecture Search
 既存のほとんどのニューラルアーキテクチャ検索(NAS)アルゴリズムの検索手法は、主に効率性の理由で微分可能な方法に支配されています。対照的に、ニューラルネットワークを検索するための効率的な連続進化アプローチを開発します。最新世代の1つのSuperNet内でパラメーターを共有する母集団のアーキテクチャーは、数エポックのトレーニングデータセットで調整されます。次の進化世代での検索は、SuperNetと母集団の両方を直接継承し、最適なネットワーク生成を加速します。 SuperNetを正確に更新するために、非支配的なソート戦略がさらに適用され、パレートフロントの結果のみが保持されます。わずか0.4 GPU日での連続検索の後、異なるモデルサイズとパフォーマンスの複数のニューラルネットワークが生成されます。その結果、私たちのフレームワークは、モバイル設定で3.7Mから5.1Mの範囲のパラメーター数を持つ一連のネットワークを提供します。これらのネットワークは、ベンチマークImageNetデータセットの最先端の方法で作成されたネットワークを上回ります。
Searching techniques in most of existing neural architecture search (NAS) algorithms are mainly dominated by differentiable methods for the efficiency reason. In contrast, we develop an efficient continuous evolutionary approach for searching neural networks. Architectures in the population that share parameters within one SuperNet in the latest generation will be tuned over the training dataset with a few epochs. The searching in the next evolution generation will directly inherit both the SuperNet and the population, which accelerates the optimal network generation. The non-dominated sorting strategy is further applied to preserve only results on the Pareto front for accurately updating the SuperNet. Several neural networks with different model sizes and performances will be produced after the continuous search with only 0.4 GPU days. As a result, our framework provides a series of networks with the number of parameters ranging from 3.7M to 5.1M under mobile settings. These networks surpass those produced by the state-of-the-art methods on the benchmark ImageNet dataset.
updated: Mon Mar 09 2020 09:11:53 GMT+0000 (UTC)
published: Wed Sep 11 2019 11:17:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト