arXiv reaDer
制約の少ないマクロ ニューラル アーキテクチャ検索に向けて
Towards Less Constrained Macro-Neural Architecture Search
Neural Architecture Search (NAS) で見つかったネットワークは、さまざまなタスクで最先端のパフォーマンスを実現し、人間が設計したネットワークよりも優れています。ただし、ほとんどの NAS メソッドは、検索を制約する人間が定義した仮定 (アーキテクチャの外骨格、層の数、パラメーターのヒューリスティック、および検索スペース) に大きく依存しています。さらに、共通の検索スペースは、アーキテクチャ全体を設計することによってアーキテクチャの検索スペースを完全に探索する (マクロ検索) のではなく、反復可能なモジュール (セル) で構成されます。このような制約を課すには、人間の深い専門知識が必要であり、検索を事前定義された設定に制限します。このホワイト ペーパーでは、LCMNAS を提案します。これは、事前に定義されたヒューリスティックや制限された検索スペースに依存せずにマクロ検索を実行することで、NAS を制約の少ない検索スペースにプッシュする方法です。 LCMNAS は、NAS パイプラインに 3 つのコンポーネントを導入します。i) 既知のアーキテクチャに関する情報を活用して、隠れたプロパティを持つ加重有向グラフに基づいて複雑な検索空間を自律的に生成する方法、ii) 完全なアーキテクチャをゼロから生成する進化的検索戦略、およびiii) 複雑な機能をモデル化するための訓練可能性と能力を推測するために、初期化段階のアーキテクチャに関する情報とより低い忠実度の見積もりを組み合わせた混合パフォーマンス見積もりアプローチ。 LCMNAS が最小限の GPU 計算と最先端の結果でセルベースとマクロベースの両方のアーキテクチャを生成できることを示す 13 の異なるデータセットでの実験を提示します。さらに、セルベースとマクロベースの両方の設定で、さまざまな NAS コンポーネントの重要性について広範な研究を行っています。再現性のコードは、https://github.com/VascoLopes/LCMNAS で公開されています。
Networks found with Neural Architecture Search (NAS) achieve state-of-the-art performance in a variety of tasks, out-performing human-designed networks. However, most NAS methods heavily rely on human-defined assumptions that constrain the search: architecture's outer-skeletons, number of layers, parameter heuristics and search spaces. Additionally, common search spaces consist of repeatable modules (cells) instead of fully exploring the architecture's search space by designing entire architectures (macro-search). Imposing such constraints requires deep human expertise and restricts the search to pre-defined settings. In this paper, we propose LCMNAS, a method that pushes NAS to less constrained search spaces by performing macro-search without relying on pre-defined heuristics or bounded search spaces. LCMNAS introduces three components for the NAS pipeline: i) a method that leverages information about well-known architectures to autonomously generate complex search spaces based on Weighted Directed Graphs with hidden properties, ii) an evolutionary search strategy that generates complete architectures from scratch, and iii) a mixed-performance estimation approach that combines information about architectures at initialization stage and lower fidelity estimates to infer their trainability and capacity to model complex functions. We present experiments in 13 different data sets showing that LCMNAS is capable of generating both cell and macro-based architectures with minimal GPU computation and state-of-the-art results. More, we conduct extensive studies on the importance of different NAS components in both cell and macro-based settings. Code for reproducibility is public at https://github.com/VascoLopes/LCMNAS.
updated: Fri Jan 06 2023 21:18:31 GMT+0000 (UTC)
published: Thu Mar 10 2022 17:53:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト