arXiv reaDer
GPNAS:グラフィカル予測子に基づくニューラルネットワークアーキテクチャ検索フレームワーク
GPNAS: A Neural Network Architecture Search Framework Based on Graphical Predictor
実際には、ニューラルアーキテクチャ検索(NAS)トレーニングで発生する問題は単純な問題ではなく、一連の困難な組み合わせ(誤った補償推定、次元の呪い、過剰適合、高度な複雑さなど)であることがよくあります。この論文では、ネットワーク構造をオペレーター検索空間から切り離し、2つのBOHBを使用して交互に検索するフレームワークを提案します。活性化関数と初期化もニューラルネットワークの重要な部分であることを考慮すると、モデルの一般化能力が影響を受けます。活性化関数と初期化メソッドドメインを導入し、それらを演算子検索空間に追加して一般化検索空間を形成し、子モデルの一般化能力を向上させます。次に、子モデルからのフィードバックを使用して、GCNベースの予測子をトレーニングしました。これにより、検索効率が向上するだけでなく、次元の呪いの問題も解決できます。次に、他のNAS研究とは異なり、予測子を使用してさまざまなネットワーク構造の安定性を分析しました。最後に、フレームワークを神経構造検索に適用し、複数のデータセットで大幅な改善を達成しました。
In practice, the problems encountered in Neural Architecture Search (NAS) training are not simple problems, but often a series of difficult combinations (wrong compensation estimation, curse of dimension, overfitting, high complexity, etc.). In this paper, we propose a framework to decouple network structure from operator search space, and use two BOHBs to search alternatively. Considering that activation function and initialization are also important parts of neural network, the generalization ability of the model will be affected. We introduce an activation function and an initialization method domain, and add them into the operator search space to form a generalized search space, so as to improve the generalization ability of the child model. We then trained a GCN-based predictor using feedback from the child model. This can not only improve the search efficiency, but also solve the problem of dimension curse. Next, unlike other NAS studies, we used predictors to analyze the stability of different network structures. Finally, we applied our framework to neural structure search and achieved significant improvements on multiple datasets.
updated: Thu Jul 08 2021 09:15:05 GMT+0000 (UTC)
published: Fri Mar 19 2021 06:51:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト