arXiv reaDer
Densely Connected Search Space for More Flexible Neural Architecture Search
 ニューラルアーキテクチャ検索(NAS)は、ニューラルネットワーク設計の開発を劇的に進歩させました。以前のほとんどのNAS方法で検索スペースの設計を再検討し、ブロックの数と幅が手動で設定されていることを確認します。ただし、ブロック数とブロック幅はネットワークスケール(深さと幅)を決定し、精度とモデルコスト(FLOPs /待機時間)の両方に大きな影響を与えます。この論文では、密に接続された検索空間、すなわちDenseNASを設計することにより、ブロック数とブロック幅を検索することを提案します。新しい検索スペースは、設計されたルーティングブロックに基づいて構築された高密度のスーパーネットワークとして表されます。スーパーネットワークでは、ルーティングブロックが密に接続されており、それらの間の最適なパスを検索して、最終的なアーキテクチャを導き出します。さらに、検索中にモデルコストを概算するためのチェーンコスト推定アルゴリズムを提案します。精度とモデルコストの両方がDenseNASで最適化されます。 MobileNetV2ベースの検索スペースでの実験では、DenseNASはImageNetで75.3%のトップ1の精度を実現し、単一のTITAN-XPで361MBのFLOPと17.9msのレイテンシしか実現しません。 DenseNASによって検索されたより大きなモデルは、479M FLOPのみで76.1%の精度を達成します。 DenseNASはさらに、ResNet-18、-34、および-50-BのImageNet分類精度を1.5%、0.5%、0.3%向上させ、それぞれ200M、600M、および680M FLOPsを削減します。関連コードはで入手できます。
Neural architecture search (NAS) has dramatically advanced the development of neural network design. We revisit the search space design in most previous NAS methods and find the number and widths of blocks are set manually. However, block counts and block widths determine the network scale (depth and width) and make a great influence on both the accuracy and the model cost (FLOPs/latency). In this paper, we propose to search block counts and block widths by designing a densely connected search space, i.e., DenseNAS. The new search space is represented as a dense super network, which is built upon our designed routing blocks. In the super network, routing blocks are densely connected and we search for the best path between them to derive the final architecture. We further propose a chained cost estimation algorithm to approximate the model cost during the search. Both the accuracy and model cost are optimized in DenseNAS. For experiments on the MobileNetV2-based search space, DenseNAS achieves 75.3% top-1 accuracy on ImageNet with only 361MB FLOPs and 17.9ms latency on a single TITAN-XP. The larger model searched by DenseNAS achieves 76.1% accuracy with only 479M FLOPs. DenseNAS further promotes the ImageNet classification accuracies of ResNet-18, -34 and -50-B by 1.5%, 0.5% and 0.3% with 200M, 600M and 680M FLOPs reduction respectively. The related code is available at
updated: Thu Apr 09 2020 07:58:17 GMT+0000 (UTC)
published: Sun Jun 23 2019 16:49:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト