ワンショットニューラルアーキテクチャ検索(NAS)メソッドは、検索スペース全体を1つのネットワークと見なすことにより、検索コストを大幅に削減します。このネットワークは、一度だけトレーニングする必要があります。ただし、現在の方法では、前のレイヤーを考慮せずに各操作を個別に選択します。その上、莫大な計算コストで得られた履歴情報は、通常、一度だけ使用され、その後破棄されます。この論文では、モンテカルロ木探索(MCTS)に基づくサンプリング戦略を紹介します。探索空間は、モンテカルロ木探索(MCT)としてモデル化され、レイヤー間の依存関係をキャプチャします。さらに、中間結果は、将来の決定とより良い探査と探査のバランスのためにMCTに保存されます。具体的には、MCTは、アーキテクチャパフォーマンスへの報酬としてトレーニング損失を使用して更新されます。多数のノードを正確に評価するために、トレーニング段階と検索段階でそれぞれノード通信と階層ノード選択方法を提案し、操作報酬と階層情報をより有効に活用します。さらに、さまざまなNAS手法を公正に比較するために、CIFAR-10で評価されたマクロ検索スペースのオープンソースNASベンチマーク、つまりNAS-Bench-Macroを構築します。 NAS-Bench-MacroとImageNetでの広範な実験は、私たちの方法が検索効率とパフォーマンスを大幅に改善することを示しています。たとえば、20のアーキテクチャを検索するだけで、取得したアーキテクチャはImageNetの442M FLOPで78.0%のトップ1精度を達成します。コード(ベンチマーク)は、https://github.com/xiusu/NAS-Bench-Macroで入手できます。
One-shot neural architecture search (NAS) methods significantly reduce the search cost by considering the whole search space as one network, which only needs to be trained once. However, current methods select each operation independently without considering previous layers. Besides, the historical information obtained with huge computation cost is usually used only once and then discarded. In this paper, we introduce a sampling strategy based on Monte Carlo tree search (MCTS) with the search space modeled as a Monte Carlo tree (MCT), which captures the dependency among layers. Furthermore, intermediate results are stored in the MCT for the future decision and a better exploration-exploitation balance. Concretely, MCT is updated using the training loss as a reward to the architecture performance; for accurately evaluating the numerous nodes, we propose node communication and hierarchical node selection methods in the training and search stages, respectively, which make better uses of the operation rewards and hierarchical information. Moreover, for a fair comparison of different NAS methods, we construct an open-source NAS benchmark of a macro search space evaluated on CIFAR-10, namely NAS-Bench-Macro. Extensive experiments on NAS-Bench-Macro and ImageNet demonstrate that our method significantly improves search efficiency and performance. For example, by only searching 20 architectures, our obtained architecture achieves 78.0% top-1 accuracy with 442M FLOPs on ImageNet. Code (Benchmark) is available at: https://github.com/xiusu/NAS-Bench-Macro.