ネットワークスペースは、手作りのネットワーク設計またはニューラルアーキテクチャ検索(NAS)の検索スペースの定義の両方で重要な要素として知られています。ただし、効果的なスペースには、膨大な事前知識や手作業が必要であり、効率を重視したアーキテクチャを見つけるには、追加の制約が必要です。このホワイトペーパーでは、新しい問題であるネットワークスペース検索(NSS)を、単一のアーキテクチャではなく、好ましいネットワークスペースを検索することとして定義します。効率を意識したネットワーク空間を自動的に直接検索するNSS手法を提案し、手作業を削減し、満足のいくネットワーク空間を見つけるための莫大なコストを削減します。結果として得られるエリートスペースと呼ばれるネットワークスペースは、最小限の人間の専門知識を課して拡張検索スペースから発見されます。パレート効率の高いエリートスペースは、さまざまな複雑さの制約の下でパレートフロントと連携し、NAS検索スペースとしてさらに機能し、差別化可能なNASアプローチにメリットをもたらします(たとえば、CIFAR-100では、エラー率が平均2.3%低く、ターゲットに3.7%近くなります)。満足のいくネットワークを見つけるために必要なサンプルが約90%少ないベースラインよりも制約があります)。さらに、私たちのNSSアプローチは、将来の未踏のスペースで優れたスペースを検索することができ、ネットワークスペースを自動的に検索する大きな可能性を明らかにします。ウェブサイト:https://minhungchen.netlify.app/publication/nss。
Network spaces have been known as a critical factor in both handcrafted network designs or defining search spaces for Neural Architecture Search (NAS). However, an effective space involves tremendous prior knowledge and/or manual effort, and additional constraints are required to discover efficiency-aware architectures. In this paper, we define a new problem, Network Space Search (NSS), as searching for favorable network spaces instead of a single architecture. We propose an NSS method to directly search for efficient-aware network spaces automatically, reducing the manual effort and immense cost in discovering satisfactory ones. The resultant network spaces, named Elite Spaces, are discovered from Expanded Search Space with minimal human expertise imposed. The Pareto-efficient Elite Spaces are aligned with the Pareto front under various complexity constraints and can be further served as NAS search spaces, benefiting differentiable NAS approaches (e.g. In CIFAR-100, an averagely 2.3% lower error rate and 3.7% closer to target constraint than the baseline with around 90% fewer samples required to find satisfactory networks). Moreover, our NSS approach is capable of searching for superior spaces in future unexplored spaces, revealing great potential in searching for network spaces automatically. Website: https://minhungchen.netlify.app/publication/nss.