ニューラルアーキテクチャ検索(NAS)の最近の最先端の方法は、問題を緩和してアーキテクチャと共有重みの継続的な最適化を行うことにより、勾配ベースの最適化を活用します。これは、まだ十分に理解されていないノイズの多いプロセスです。ウェイトシェアリングを使用してNASを理解するための単一レベルの経験的リスク最小化の研究について議論し、NASメソッドの設計を、この問題の高品質なソリューションを迅速に取得できるオプティマイザーとレギュラーライザーを考案することに減らします。ミラー降下の理論を呼び出して、この最適化の基礎となる構造を活用してスパースアーキテクチャパラメータを返すジオメトリ対応フレームワークを提示し、高速収束保証を享受し、最新の精度を実現するシンプルでありながら斬新なアルゴリズムを実現します。コンピュータビジョンにおける最新のNASベンチマーク。特に、DARTS検索スペースとNAS-Bench201の両方で、CIFARとImageNetの両方で公開されている最良の結果を上回っています。後者では、CIFAR-10およびCIFAR-100でほぼオラクルに最適なパフォーマンスを実現します。一緒に、私たちの理論と実験は、離散NAS検索空間のオプティマイザーと継続的な緩和を共同設計するための原理的な方法を示しています。
Recent state-of-the-art methods for neural architecture search (NAS) exploit gradient-based optimization by relaxing the problem into continuous optimization over architectures and shared-weights, a noisy process that remains poorly understood. We argue for the study of single-level empirical risk minimization to understand NAS with weight-sharing, reducing the design of NAS methods to devising optimizers and regularizers that can quickly obtain high-quality solutions to this problem. Invoking the theory of mirror descent, we present a geometry-aware framework that exploits the underlying structure of this optimization to return sparse architectural parameters, leading to simple yet novel algorithms that enjoy fast convergence guarantees and achieve state-of-the-art accuracy on the latest NAS benchmarks in computer vision. Notably, we exceed the best published results for both CIFAR and ImageNet on both the DARTS search space and NAS-Bench201; on the latter we achieve near-oracle-optimal performance on CIFAR-10 and CIFAR-100. Together, our theory and experiments demonstrate a principled way to co-design optimizers and continuous relaxations of discrete NAS search spaces.