arXiv reaDer
ノイズの多い微分可能なアーキテクチャ検索
Noisy Differentiable Architecture Search
シンプルさは究極の洗練です。微分可能アーキテクチャ検索(DARTS)は、ニューラルアーキテクチャ検索の主流のパラダイムの1つになりました。ただし、スキップ接続の集約により、よく知られているパフォーマンスの崩壊の問題が大きく発生します。情報の流れを加速させる残余構造の恩恵を過度に受けたと考えられます。この影響を弱めるために、流れを妨げるために偏りのないランダムノイズを注入することを提案します。この斬新なアプローチをNoisyDARTSと名付けました。実際、ネットワークオプティマイザは、各トレーニングステップでこの問題を認識し、特にスキップ接続でのオーバーシュートを控える必要があります。長期的には、期待値の観点から勾配にバイアスを追加しないため、適切なソリューション領域に収束する可能性があります。また、注入されたノイズが損失ランドスケープを平滑化する役割を果たし、最適化が容易になることも証明します。私たちの方法は非常にシンプルで、新しい強力なベースラインとして機能します。さまざまな検索スペース、データセット、およびタスクにわたって広範な実験を実行し、最先端の結果を確実に達成します。私たちのコードはhttps://github.com/xiaomi-automl/NoisyDARTSで入手できます。
Simplicity is the ultimate sophistication. Differentiable Architecture Search (DARTS) has now become one of the mainstream paradigms of neural architecture search. However, it largely suffers from the well-known performance collapse issue due to the aggregation of skip connections. It is thought to have overly benefited from the residual structure which accelerates the information flow. To weaken this impact, we propose to inject unbiased random noise to impede the flow. We name this novel approach NoisyDARTS. In effect, a network optimizer should perceive this difficulty at each training step and refrain from overshooting, especially on skip connections. In the long run, since we add no bias to the gradient in terms of expectation, it is still likely to converge to the right solution area. We also prove that the injected noise plays a role in smoothing the loss landscape, which makes the optimization easier. Our method features extreme simplicity and acts as a new strong baseline. We perform extensive experiments across various search spaces, datasets, and tasks, where we robustly achieve state-of-the-art results. Our code is available at https://github.com/xiaomi-automl/NoisyDARTS.
updated: Sun Oct 17 2021 14:57:46 GMT+0000 (UTC)
published: Thu May 07 2020 15:53:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト