Neural Architecture Search(NAS)で検出されたネットワークは、さまざまなタスクで最先端のパフォーマンスを実現し、人間が設計したネットワークよりも優れています。ただし、ほとんどのNASメソッドは、検索を制約する人間が定義した仮定(アーキテクチャの外部スケルトン、レイヤー数、パラメーターヒューリスティック、検索スペース)に大きく依存しています。さらに、一般的な検索スペースは、アーキテクチャ全体を設計することによってアーキテクチャの検索スペースを完全に探索するのではなく、繰り返し可能なモジュール(セル)で構成されます(マクロ検索)。このような制約を課すには、人間の深い専門知識が必要であり、検索を事前定義された設定に制限します。この論文では、事前定義されたヒューリスティックや制限付き検索スペースに依存せずにマクロ検索を実行することにより、NASを制約の少ない検索スペースにプッシュする方法であるLCMNASを提案します。 LCMNASは、NASパイプラインに3つのコンポーネントを導入します。i)既知のアーキテクチャに関する情報を活用して、非表示のプロパティを持つ加重有向グラフに基づいて複雑な検索スペースを自律的に生成する方法、ii)完全なアーキテクチャを最初から生成する進化的検索戦略。 iii)初期化段階のアーキテクチャに関する情報と忠実度の低い推定を組み合わせて、複雑な機能をモデル化するためのトレーニング可能性と能力を推測する、混合パフォーマンス推定アプローチ。 LCMNASが最小限のGPU計算で最先端のアーキテクチャをゼロから生成することを示す実験を紹介します。マクロ検索設定でのさまざまなNASコンポーネントの重要性を調査します。再現性のコードはhttps://github.com/VascoLopes/LCMNASで公開されています。
Networks found with Neural Architecture Search (NAS) achieve state-of-the-art performance in a variety of tasks, out-performing human-designed networks. However, most NAS methods heavily rely on human-defined assumptions that constrain the search: architecture's outer-skeletons, number of layers, parameter heuristics and search spaces. Additionally, common search spaces consist of repeatable modules (cells) instead of fully exploring the architecture's search space by designing entire architectures (macro-search). Imposing such constraints requires deep human expertise and restricts the search to pre-defined settings. In this paper, we propose LCMNAS, a method that pushes NAS to less constrained search spaces by performing macro-search without relying on pre-defined heuristics or bounded search spaces. LCMNAS introduces three components for the NAS pipeline: i) a method that leverages information about well-known architectures to autonomously generate complex search spaces based on Weighted Directed Graphs with hidden properties, ii) a evolutionary search strategy that generates complete architectures from scratch, and iii) a mixed-performance estimation approach that combines information about architectures at initialization stage and lower fidelity estimates to infer their trainability and capacity to model complex functions. We present experiments showing that LCMNAS generates state-of-the-art architectures from scratch with minimal GPU computation. We study the importance of different NAS components on a macro-search setting. Code for reproducibility is public at https://github.com/VascoLopes/LCMNAS.