ニューラルアーキテクチャ検索(NAS)を高速化するために、バッチ正規化(BN-NAS)を使用したニューラルアーキテクチャ検索であるBN-NASを紹介します。 BN-NASは、NASでのモデルのトレーニングと評価に必要な時間を大幅に短縮できます。具体的には、迅速な評価のために、トレーニングの非常に早い段階でサブネットのパフォーマンスを予測するためのBNベースの指標を提案します。 BNベースのインジケーターは、スーパーネットトレーニング中にBNパラメーターをトレーニングするだけで、トレーニング効率をさらに向上させるのに役立ちます。これは、スーパーネット全体をトレーニングする必要はなく、BNパラメータのみをトレーニングすると、ネットワークアーキテクチャ検索のネットワークコンバージェンスが加速するという私たちの観察に基づいています。広範な実験により、私たちの方法は、精度を損なうことなく、スーパーネットのトレーニング時間を10倍以上短縮し、サブネットの評価時間を60万倍以上短縮できることが示されています。
We present BN-NAS, neural architecture search with Batch Normalization (BN-NAS), to accelerate neural architecture search (NAS). BN-NAS can significantly reduce the time required by model training and evaluation in NAS. Specifically, for fast evaluation, we propose a BN-based indicator for predicting subnet performance at a very early training stage. The BN-based indicator further facilitates us to improve the training efficiency by only training the BN parameters during the supernet training. This is based on our observation that training the whole supernet is not necessary while training only BN parameters accelerates network convergence for network architecture search. Extensive experiments show that our method can significantly shorten the time of training supernet by more than 10 times and shorten the time of evaluating subnets by more than 600,000 times without losing accuracy.