arXiv reaDer
Efficient Decoupled Neural Architecture Search by Structure and Operation Sampling
  構造と操作の検索プロセスを分離することによる強化学習を介した新しいニューラルアーキテクチャ検索アルゴリズムを提案します。このアプローチでは、2つの検索スペースで個別に定義されたポリシーベクトルの多項分布から候補モデルをサンプリングします。提案された手法は、ターゲットタスクで競争力のある精度とモデルサイズを達成しながら、RNNコントローラーを使用した強化学習に基づく従来の方法と比較して、アーキテクチャ検索プロセスの効率を大幅に向上させます。当社のポリシーベクトルは、トレーニング手順全体で簡単に解釈できます。これにより、検索の進行状況と検出されたアーキテクチャを分析できます。 RNNコントローラーのブラックボックス特性は、ポリシーパラメーターの更新に関するトレーニングの進捗状況の理解を妨げます。私たちの実験は、わずかな検索コストで、最先端の方法と比較して優れた性能を実証しています。
We propose a novel neural architecture search algorithm via reinforcement learning by decoupling structure and operation search processes. Our approach samples candidate models from the multinomial distribution on the policy vectors defined on the two search spaces independently. The proposed technique improves the efficiency of architecture search process significantly compared to the conventional methods based on reinforcement learning with the RNN controllers while achieving competitive accuracy and model size in target tasks. Our policy vectors are easily interpretable throughout the training procedure, which allows to analyze the search progress and the discovered architectures; the black-box characteristics of the RNN controllers hamper understanding training progress in terms of policy parameter updates. Our experiments demonstrate outstanding performance compared to the state-of-the-art methods with a fraction of search cost.
updated: Wed Oct 23 2019 08:00:22 GMT+0000 (UTC)
published: Wed Oct 23 2019 08:00:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト