arXiv reaDer
Hierarchical Neural Architecture Search via Operator Clustering
最近、自動ニューラルアーキテクチャ設計の効率は、DARTSなどの勾配ベースの検索方法によって大幅に改善されています。ただし、最近の文献では、DARTSの一般化機能に疑問が生じており、検索スペースが変更された場合、つまり、異なる候補演算子のセットが使用された場合、DARTSのパフォーマンスが低下すると主張しています。この問題を部分的に解決するために、早期停止などの正則化手法が提案されています。この論文では、サーチスペースが変化したときにDARTSが崩壊する2つの要因を特定することにより、この問題に異なる視点から取り組みます。(1)類似の演算子の相関により、それらの間で不利な競争が発生し、それらの相対的な重要度スコアが信頼できなくなります。 2)プロキシ検索段階と最終トレーニングの間の最適化の複雑さのギャップ。これらの発見に基づいて、新しい階層的検索アルゴリズムを提案します。演算子のクラスタリングと最適化の複雑さが一致するため、アルゴリズムはさまざまな検索スペースで高性能アーキテクチャを一貫して見つけることができます。人気のあるセルベースの検索スペースの5つのバリエーションすべてについて、提案されたアルゴリズムは、他の定評のあるDARTSに類似したアルゴリズムよりも、CIFAR-10、CIFAR-100、およびImageNetで常に最高の精度で最先端のアーキテクチャを取得します。 。コードはで入手できます。
Recently, the efficiency of automatic neural architecture design has been significantly improved by gradient-based search methods such as DARTS. However, recent literature has brought doubt to the generalization ability of DARTS, arguing that DARTS performs poorly when the search space is changed, i.e, when different set of candidate operators are used. Regularization techniques such as early stopping have been proposed to partially solve this problem. In this paper, we tackle this problem from a different perspective by identifying two contributing factors to the collapse of DARTS when the search space changes: (1) the correlation of similar operators incurs unfavorable competition among them and makes their relative importance score unreliable and (2) the optimization complexity gap between the proxy search stage and the final training. Based on these findings, we propose a new hierarchical search algorithm. With its operator clustering and optimization complexity match, the algorithm can consistently find high-performance architecture across various search spaces. For all the five variants of the popular cell-based search spaces, the proposed algorithm always obtains state-of-the-art architecture with best accuracy on the CIFAR-10, CIFAR-100 and ImageNet over other well-established DARTS-alike algorithms. Code is available at
updated: Mon Jan 25 2021 10:03:07 GMT+0000 (UTC)
published: Thu Sep 26 2019 06:26:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト