arXiv reaDer
Sample-Efficient Neural Architecture Search by Learning Action Space
ニューラルアーキテクチャ検索(NAS)は、自動ニューラルネットワーク設計の有望な手法として登場しました。ただし、既存のMCTSベースのNASアプローチでは、手動で設計されたアクションスペースを利用することがよくあります。これは、最適化するパフォーマンスメトリック(精度など)に直接関係しないため、サンプルの非効率的なアーキテクチャの調査につながります。サンプルの効率を改善するために、このペーパーでは、潜在アクションニューラルアーキテクチャ検索(LaNAS)を提案します。これは、検索スペースを、同様のパフォーマンスメトリックを持つネットワークを含む良い領域または悪い領域に再帰的に分割するアクションを学習します。検索フェーズでは、アクションシーケンスが異なるとパフォーマンスの異なる領域が生じるため、適切な領域にバイアスをかけることで検索効率を大幅に向上させることができます。 3つのNASタスクで、経験的結果は、LaNASが、進化的アルゴリズム、ベイズ最適化、ランダム検索などのベースライン手法よりも少なくとも1桁効率が高いことを示しています。実際に適用すると、ワンショットと通常のLaNASの両方が一貫して既存の結果を上回ります。特に、LaNASはわずか800サンプルでCIFAR-10で99.0%の精度を達成し、ImageNetで600 MFLOPSで80.8%のtop1精度を達成し、33分の1のサンプルでAmoebaNetを大幅に上回っています。私たちのコードはで公開されています。
Neural Architecture Search (NAS) has emerged as a promising technique for automatic neural network design. However, existing MCTS based NAS approaches often utilize manually designed action space, which is not directly related to the performance metric to be optimized (e.g., accuracy), leading to sample-inefficient explorations of architectures. To improve the sample efficiency, this paper proposes Latent Action Neural Architecture Search (LaNAS), which learns actions to recursively partition the search space into good or bad regions that contain networks with similar performance metrics. During the search phase, as different action sequences lead to regions with different performance, the search efficiency can be significantly improved by biasing towards the good regions. On three NAS tasks, empirical results demonstrate that LaNAS is at least an order more sample efficient than baseline methods including evolutionary algorithms, Bayesian optimizations, and random search. When applied in practice, both one-shot and regular LaNAS consistently outperform existing results. Particularly, LaNAS achieves 99.0% accuracy on CIFAR-10 and 80.8% top1 accuracy at 600 MFLOPS on ImageNet in only 800 samples, significantly outperforming AmoebaNet with 33x fewer samples. Our code is publicly available at
updated: Wed Mar 31 2021 19:13:16 GMT+0000 (UTC)
published: Mon Jun 17 2019 03:50:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト