arXiv reaDer
Accuracy Prediction with Non-neural Model for Neural Architecture Search
候補アーキテクチャの精度を予測する精度予測子を備えたニューラルアーキテクチャ検索(NAS)は、その単純さと有効性のためにますます注目を集めています。以前の作品は通常、より繊細な設計を必要とし、過剰適合しやすいニューラルネットワークベースの予測子を採用しています。ほとんどのアーキテクチャは、表形式のデータに似ており、非神経予測子によって好まれる離散シンボルのシーケンスとして表されることを考慮して、この論文では、精度予測に非神経モデルを使用する代替アプローチを研究します。具体的には、デシジョンツリーベースのモデルは表形式のデータをより適切に処理できるため、NASの予測子としてグラディエントブースティングデシジョンツリー(GBDT)を活用します。 GBDT予測子は、ニューラルネットワークベースの予測子と同等の(より良いとは言えないまでも)予測精度を達成できることを示しています。さらに、コンパクトな検索スペースは検索プロセスを容易にすることができることを考慮して、GBDTから派生した重要な機能に従って検索スペースを徐々に削除することを提案します。このように、NASは、最初に検索スペースをプルーニングし、次にニューラルアーキテクチャを検索することで実行できます。これは、より効率的で効果的です。 NASBench-101とImageNetでの実験は、NASの予測子としてGBDTを使用することの有効性を示しています。(1)NASBench-101では、ランダム検索、正則化進化、モンテカルロ木探索よりも22倍、8倍、6倍サンプル効率が高くなっています( MCTS)グローバル最適を見つけること。 (2)ImageNetで24.2%のトップ1エラー率を達成し、さらに検索スペースのプルーニングで拡張すると、ImageNetで23.4%のトップ1エラー率を達成します。コードはで提供されています。
Neural architecture search (NAS) with an accuracy predictor that predicts the accuracy of candidate architectures has drawn increasing attention due to its simplicity and effectiveness. Previous works usually employ neural network-based predictors which require more delicate design and are easy to overfit. Considering that most architectures are represented as sequences of discrete symbols which are more like tabular data and preferred by non-neural predictors, in this paper, we study an alternative approach which uses non-neural model for accuracy prediction. Specifically, as decision tree based models can better handle tabular data, we leverage gradient boosting decision tree (GBDT) as the predictor for NAS. We demonstrate that the GBDT predictor can achieve comparable (if not better) prediction accuracy than neural network based predictors. Moreover, considering that a compact search space can ease the search process, we propose to prune the search space gradually according to important features derived from GBDT. In this way, NAS can be performed by first pruning the search space and then searching a neural architecture, which is more efficient and effective. Experiments on NASBench-101 and ImageNet demonstrate the effectiveness of using GBDT as predictor for NAS: (1) On NASBench-101, it is 22x, 8x, and 6x more sample efficient than random search, regularized evolution, and Monte Carlo Tree Search (MCTS) in finding the global optimum; (2) It achieves 24.2% top-1 error rate on ImageNet, and further achieves 23.4% top-1 error rate on ImageNet when enhanced with search space pruning. Code is provided at
updated: Mon Jul 19 2021 07:31:57 GMT+0000 (UTC)
published: Thu Jul 09 2020 13:28:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト