arXiv reaDer
GNAS:一般化されたニューラルネットワークアーキテクチャ検索フレームワーク
GNAS: A Generalized Neural Network Architecture Search Framework
実際には、NAS(Neural Architecture Search)のトレーニングで発生する問題はシンプレックスではありませんが、一連の困難の組み合わせ(誤った補償推定、次元の呪い、過剰適合、高度な複雑さなど)に直面することがよくあります。本稿では、実用的な問題を解決する観点から、NASの単一の問題のみを解決する以前の研究を参照および改善し、それらを組み合わせて実用的な技術フローにします。この論文は、ネットワーク構造をオペレーターの検索空間から切り離すフレームワークを提案します。 2つのBOHB(ベイズ最適化ハイパーバンド)を使用して、広大なネットワーク構造とオペレーター検索スペースを交互に検索します。次に、子モデルのフィードバックを使用して、GCNベースの予測子をトレーニングしました。このアプローチは、効率を向上させながら次元の呪いを処理します。活性化関数と初期化もニューラルネットワークの重要なコンポーネントであり、モデルの一般化能力に影響を与える可能性があることを考慮してください。本論文では、活性化関数と初期化メソッドドメインを紹介し、それらを演算子検索空間に結合して一般化検索空間を形成し、子モデルの一般化能力を向上させた。最後に、フレームワークをニューラルアーキテクチャ検索に適用し、複数のデータセットで大幅な改善を達成しました。
In practice, the problems encountered in training NAS (Neural Architecture Search) are not simplex, but a series of combinations of difficulties are often faced(incorrect compensation estimation, curse of dimension, overfitting, high complexity, etc.). From the point of view for solving practical problems, this paper makes reference and improvement to the previous researches which only solve the single problem of NAS, and combines them into a practical technology flow. This paper propose a framework that decouples the network structure from the search space for operators. We use two BOHBs(Bayesian Optimization Hyperband) to search alternately in the vast network structure and operator search space. And then, we trained a GCN-baesd predictor using the feedback of the child model. This approach takes care of the dimension curse while improving efficiency. Considering that activation function and initialization are also important components of neural network, and can affect the generalization ability of the model. This paper introduced an activation function and an initialization method domain, join them to the operator search space to form a generalized search space, thus improving the generalization ability of the child model. At last, We applied our framework to neural architecture search and achieved significant improvements on multiple datasets.
updated: Fri Mar 19 2021 06:51:22 GMT+0000 (UTC)
published: Fri Mar 19 2021 06:51:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト