arXiv reaDer
スーパーネット最適化とその応用に関する調査: ニューラル アーキテクチャ検索のための空間的および時間的最適化
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
この調査は、Neural Architecture Search (NAS) の分野におけるスーパーネット最適化の方法の分類と評価に焦点を当てています。スーパーネットの最適化には、考えられるすべてのネットワーク アーキテクチャの検索空間を網羅する、過剰にパラメータ化された単一のネットワークのトレーニングが含まれます。この調査では、空間的および時間的最適化へのアプローチに基づいて、スーパーネットの最適化手法を分析しています。空間最適化は、スーパーネットとそのサブネットのアーキテクチャとパラメータの最適化に関連し、一時的最適化は、スーパーネットからアーキテクチャを選択する効率の改善に関係します。転送可能性、ドメインの一般化、Transformer モデルなど、さまざまなタスクや設定におけるこれらの方法の利点、制限、および潜在的なアプリケーションについても説明します。
This survey focuses on categorizing and evaluating the methods of supernet optimization in the field of Neural Architecture Search (NAS). Supernet optimization involves training a single, over-parameterized network that encompasses the search space of all possible network architectures. The survey analyses supernet optimization methods based on their approaches to spatial and temporal optimization. Spatial optimization relates to optimizing the architecture and parameters of the supernet and its subnets, while temporal optimization deals with improving the efficiency of selecting architectures from the supernet. The benefits, limitations, and potential applications of these methods in various tasks and settings, including transferability, domain generalization, and Transformer models, are also discussed.
updated: Tue Feb 07 2023 07:33:25 GMT+0000 (UTC)
published: Fri Apr 08 2022 08:29:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト