arXiv reaDer
トレーニングフリーDARTSの接続感度の問題:アーキテクチャレベルのスコアリングから運用レベルの感度分析まで
Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis
最近提案されたトレーニング不要の NAS メソッドは、トレーニング フェーズを放棄し、さまざまなゼロコスト プロキシをスコアとして設計して、優れたアーキテクチャを特定し、ニューラル アーキテクチャ検索の計算効率を大幅に高めます。この論文では、興味深い問題を提起します。DARTS での操作の重要性を、パラメータ集約型のバイアスを回避しながら、トレーニングを必要としない方法で適切に測定できるでしょうか?エッジ接続のレンズを通してこの質問を調査し、初期化時に DARTS での候補操作の重要性をスコアリングするために、接続の概念である ZERo-cost Operation Sensitivity (ZEROS) を定義することによって肯定的な答えを提供します。 NAS に ZEROS を利用する際に反復的でデータに依存しない方法を考案することにより、私たちの新しい試行は、トレーニング フリー微分可能アーキテクチャ検索 (FreeDARTS) と呼ばれるフレームワークにつながります。 Neural Tangent Kernel (NTK) の理論に基づいて、勾配降下トレーニング下での収束後に、提案された接続スコアが DARTS スーパーネットの一般化境界と負の相関があることを示します。さらに、ZEROS がアーキテクチャを選択する際にパラメーター集約型のバイアスを暗黙のうちに回避する方法を理論的に説明し、FreeDARTS によって検索されたアーキテクチャが同等のサイズであることを経験的に示します。一連の検索空間で広範な実験が行われ、その結果、FreeDARTS がニューラル アーキテクチャ検索の信頼性が高く効率的なベースラインであることが実証されました。
The recently proposed training-free NAS methods abandon the training phase and design various zero-cost proxies as scores to identify excellent architectures, arousing extreme computational efficiency for neural architecture search. In this paper, we raise an interesting problem: can we properly measure the operation importance in DARTS through a training-free way, with avoiding the parameter-intensive bias? We investigate this question through the lens of edge connectivity, and provide an affirmative answer by defining a connectivity concept, ZERo-cost Operation Sensitivity (ZEROS), to score the importance of candidate operations in DARTS at initialization. By devising an iterative and data-agnostic manner in utilizing ZEROS for NAS, our novel trial leads to a framework called training free differentiable architecture search (FreeDARTS). Based on the theory of Neural Tangent Kernel (NTK), we show the proposed connectivity score provably negatively correlated with the generalization bound of DARTS supernet after convergence under gradient descent training. In addition, we theoretically explain how ZEROS implicitly avoids parameter-intensive bias in selecting architectures, and empirically show the searched architectures by FreeDARTS are of comparable size. Extensive experiments have been conducted on a series of search spaces, and results have demonstrated that FreeDARTS is a reliable and efficient baseline for neural architecture search.
updated: Wed Apr 26 2023 08:10:30 GMT+0000 (UTC)
published: Tue Jun 22 2021 04:40:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト