この調査は、Neural Architecture Search (NAS) の分野におけるスーパーネット最適化の方法の分類と評価に焦点を当てています。スーパーネットの最適化には、考えられるすべてのネットワーク アーキテクチャの検索空間を網羅する、過剰にパラメータ化された単一のネットワークのトレーニングが含まれます。この調査では、空間的および時間的最適化へのアプローチに基づいて、スーパーネットの最適化手法を分析しています。空間最適化は、スーパーネットとそのサブネットのアーキテクチャとパラメータの最適化に関連し、一時的最適化は、スーパーネットからアーキテクチャを選択する効率の改善に関係します。転送可能性、ドメインの一般化、Transformer モデルなど、さまざまなタスクや設定におけるこれらの方法の利点、制限、および潜在的なアプリケーションについても説明します。
This survey focuses on categorizing and evaluating the methods of supernet optimization in the field of Neural Architecture Search (NAS). Supernet optimization involves training a single, over-parameterized network that encompasses the search space of all possible network architectures. The survey analyses supernet optimization methods based on their approaches to spatial and temporal optimization. Spatial optimization relates to optimizing the architecture and parameters of the supernet and its subnets, while temporal optimization deals with improving the efficiency of selecting architectures from the supernet. The benefits, limitations, and potential applications of these methods in various tasks and settings, including transferability, domain generalization, and Transformer models, are also discussed.