arXiv reaDer
NAS-LID: ローカル固有次元による効率的なニューラル アーキテクチャ検索
NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension
ワンショット ニューラル アーキテクチャ検索 (NAS) は、可能なすべての子アーキテクチャ (つまり、サブネット) のパフォーマンスを推定するように 1 つのスーパーネットをトレーニングすることにより、検索効率を大幅に向上させます。ただし、サブネット間の特性の不一致は、最適化に深刻な干渉を引き起こし、結果としてサブネットのパフォーマンス ランキング相関が低下します。後続の探索では、特定の基準 (勾配マッチングなど) を介してスーパーネットの重みを分解し、干渉を減らします。しかし、膨大な計算コストと低い空間分離性に悩まされています。この作業では、軽量で効果的なローカル固有寸法 (LID) ベースの方法 NAS-LID を提案します。 NAS-LID は、低コストの LID 機能をレイヤーごとに計算することにより、アーキテクチャの幾何学的特性を評価します。LID によって特徴付けられる類似性は、勾配と比較してより優れた分離性を享受し、サブネット間の干渉を効果的に低減します。 NASBench-201 での広範な実験は、NAS-LID がより優れた効率で優れたパフォーマンスを達成することを示しています。具体的には、勾配駆動型の方法と比較して、NAS-LID は NASBench-201 で検索するときに GPU メモリのオーバーヘッドを最大 86% 節約できます。また、ProxylessNAS および OFA スペースでの NAS-LID の有効性も示します。ソース コード: https://github.com/marsggbo/NAS-LID。
One-shot neural architecture search (NAS) substantially improves the search efficiency by training one supernet to estimate the performance of every possible child architecture (i.e., subnet). However, the inconsistency of characteristics among subnets incurs serious interference in the optimization, resulting in poor performance ranking correlation of subnets. Subsequent explorations decompose supernet weights via a particular criterion, e.g., gradient matching, to reduce the interference; yet they suffer from huge computational cost and low space separability. In this work, we propose a lightweight and effective local intrinsic dimension (LID)-based method NAS-LID. NAS-LID evaluates the geometrical properties of architectures by calculating the low-cost LID features layer-by-layer, and the similarity characterized by LID enjoys better separability compared with gradients, which thus effectively reduces the interference among subnets. Extensive experiments on NASBench-201 indicate that NAS-LID achieves superior performance with better efficiency. Specifically, compared to the gradient-driven method, NAS-LID can save up to 86% of GPU memory overhead when searching on NASBench-201. We also demonstrate the effectiveness of NAS-LID on ProxylessNAS and OFA spaces. Source code: https://github.com/marsggbo/NAS-LID.
updated: Thu Nov 24 2022 12:49:54 GMT+0000 (UTC)
published: Wed Nov 23 2022 08:08:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト