微分可能ARChiTectureSearch(DARTS)は、その単純さと効率性のためにNeural Architecture Search(NAS)の主流のパラダイムになりましたが、最近の研究では、DARTSでの最適化の進行と最終的な規模によって、検索されたアーキテクチャのパフォーマンスがほとんど向上しないことがわかりました。 DARTSが入手したものは、運用の重要性をほとんど示していません。上記の観察結果は、DARTSの監視信号がアーキテクチャ検索の不十分または信頼性の低い指標であり、興味深く有望な方向性を刺激している可能性があることを示しています。微分可能なパラダイムの下でトレーニングを行わなくても、操作の重要性を測定できますか? NASを初期化問題でのネットワークプルーニングとしてカスタマイズすることにより、肯定的な答えを提供します。初期化時のネットワークプルーニングで最近提案されたシナプス顕著性基準を活用して、トレーニングなしで微分可能NASでの候補操作の重要性を評価し、それに応じてトレーニングフリー微分可能アーキテクチャ検索(FreeDARTS)と呼ばれる新しいフレームワークを提案しました。トレーニングなしで、さまざまなプロキシメトリックを備えたFreeDARTSが、さまざまな検索スペースでほとんどのNASベースラインを上回ることができることを示します。さらに重要なことに、FreeDARTSは、アーキテクチャ検索フェーズでのトレーニングを放棄するため、メモリ効率と計算効率が非常に高く、FreeDARTSはより柔軟な空間でアーキテクチャ検索を実行し、アーキテクチャ検索と評価の間の深さのギャップをなくすことができます。私たちの仕事が、初期化時のプルーニングの観点からNASを解決するためのより多くの試みを刺激することを願っています。
Although Differentiable ARchiTecture Search (DARTS) has become the mainstream paradigm in Neural Architecture Search (NAS) due to its simplicity and efficiency, more recent works found that the performance of the searched architecture barely increases with the optimization proceeding in DARTS, and the final magnitudes obtained by DARTS could hardly indicate the importance of operations. The above observation reveal that the supervision signal in DARTS may be a poor or unreliable indicator for the architecture search, inspiring an interesting and promising direction: can we measure the operation importance without any training under the differentiable paradigm? We provide an affirmative answer by customizing the NAS as a network pruning at initialization problem. With leveraging recently-proposed synaptic saliency criteria in the network pruning at initialization, we seek to score the importance of candidate operations in differentiable NAS without any training, and proposed a novel framework called training free differentiable architecture search (FreeDARTS) accordingly. We show that, without any training, FreeDARTS with different proxy metrics can outperform most NAS baselines in different search spaces. More importantly, FreeDARTS is extremely memory-efficient and computational-efficient as it abandons the training in the architecture search phase, enabling FreeDARTS to perform architecture search on a more flexible space and eliminate the depth gap between architecture search and evaluation. We hope our work inspires more attempts in solving NAS from the perspective of pruning at initialization.