現在のニューラルアーキテクチャ検索(NAS)アルゴリズムには、ネットワーク構築用の検索スペースを設計するための専門知識と努力が必要です。この論文では、人間の干渉を最小限に抑えるために探索空間の設計を自動化することを検討しますが、探索空間の爆発的な複雑さと、さまざまな探索空間の品質を評価するための高価な計算コストという2つの課題に直面します。それらを解決するために、AutoSpaceという名前の新しい微分可能な進化フレームワークを提案します。これは、次の新しい手法を使用して検索空間を最適なものに進化させます。セルのパフォーマンスを効率的に評価する微分可能なフィットネススコアリング関数と、進化手順を高速化するリファレンスアーキテクチャ。最適ではないソリューションに陥らないようにしてください。フレームワークは汎用的であり、追加の計算制約と互換性があるため、さまざまな計算予算に適合する特殊な検索スペースを学習することが可能です。学習した検索スペースを使用すると、以前に手動で設計したスペースを使用する場合と比較して、最近のNASアルゴリズムのパフォーマンスを大幅に向上させることができます。注目すべきことに、新しい検索スペースから生成されたモデルは、モバイル設定(MAdds <500M)でImageNetで77.8%のトップ1精度を達成し、以前のSOTA EfficientNet-B0を0.7%上回っています。すべてのコードは公開されます。
Current neural architecture search (NAS) algorithms still require expert knowledge and effort to design a search space for network construction. In this paper, we consider automating the search space design to minimize human interference, which however faces two challenges: the explosive complexity of the exploration space and the expensive computation cost to evaluate the quality of different search spaces. To solve them, we propose a novel differentiable evolutionary framework named AutoSpace, which evolves the search space to an optimal one with following novel techniques: a differentiable fitness scoring function to efficiently evaluate the performance of cells and a reference architecture to speedup the evolution procedure and avoid falling into sub-optimal solutions. The framework is generic and compatible with additional computational constraints, making it feasible to learn specialized search spaces that fit different computational budgets. With the learned search space, the performance of recent NAS algorithms can be improved significantly compared with using previously manually designed spaces. Remarkably, the models generated from the new search space achieve 77.8% top-1 accuracy on ImageNet under the mobile setting (MAdds < 500M), out-performing previous SOTA EfficientNet-B0 by 0.7%. All codes will be made public.