arXiv reaDer
CARS: Continuous Evolution for Efficient Neural Architecture Search
  既存のほとんどのニューラルアーキテクチャ検索(NAS)アルゴリズムの検索手法は、主に効率性の理由で微分可能な方法に支配されています。対照的に、ニューラルネットワークを検索するための効率的な連続進化アプローチを開発します。最新の反復で1つのスーパーネット内でパラメーターを共有する母集団のアーキテクチャは、いくつかのエポックでトレーニングデータセット上で調整されます。次の進化の反復での検索は、スーパーネットと母集団の両方を直接継承し、最適なネットワーク生成を加速します。スーパーネットを正確に更新するために、パレートフロントの結果のみを保持するために、非支配的なソート戦略がさらに適用されます。わずか0.4 GPU日での連続検索の後、異なるモデルサイズとパフォーマンスを備えたいくつかのニューラルネットワークが生成されます。その結果、私たちのフレームワークは、モバイル設定で3.7Mから5.1Mの範囲のパラメーターの数を持つ一連のネットワークを提供します。これらのネットワークは、ベンチマークImageNetデータセットの最先端の方法によって生成されたネットワークを上回ります。
Searching techniques in most of existing neural architecture search (NAS) algorithms are mainly dominated by differentiable methods for the efficiency reason. In contrast, we develop an efficient continuous evolutionary approach for searching neural networks. Architectures in the population which share parameters within one supernet in the latest iteration will be tuned over the training dataset with a few epochs. The searching in the next evolution iteration will directly inherit both the supernet and the population, which accelerates the optimal network generation. The non-dominated sorting strategy is further applied to preserve only results on the Pareto front for accurately updating the supernet. Several neural networks with different model sizes and performance will be produced after the continuous search with only 0.4 GPU days. As a result, our framework provides a series of networks with the number of parameters ranging from 3.7M to 5.1M under mobile settings. These networks surpass those produced by the state-of-the-art methods on the benchmark ImageNet dataset.
updated: Tue Sep 17 2019 03:18:12 GMT+0000 (UTC)
published: Wed Sep 11 2019 11:17:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト