arXiv reaDer
DDPNAS: 動的分布プルーニングによる効率的なニューラル アーキテクチャ検索
DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning
Neural Architecture Search (NAS) は、さまざまなコンピューター ビジョン タスクで最先端のパフォーマンスを発揮しました。達成された優れたパフォーマンスにもかかわらず、既存の方法の効率と一般性は、計算の複雑さが高く一般性が低いため、高く評価されています。この論文では、動的分散プルーニングを介して DDPNAS と呼ばれる効率的で統合された NAS フレームワークを提案し、精度と効率の理論的限界を促進します。特に、最初に結合カテゴリ分布からアーキテクチャをサンプリングします。次に、探索空間が動的に刈り込まれ、その分布が数エポックごとに更新されます。提案された効率的なネットワーク生成方法を使用して、与えられた制約で最適なニューラル アーキテクチャを直接取得します。これは、さまざまな検索空間と制約にわたるデバイス上のモデルに実用的です。私たちの方法で検索されたアーキテクチャは、CIFAR-10 と ImageNet (モバイル設定) でそれぞれ 97.56 と 77.2 という驚くべきトップ 1 精度を達成し、最速の検索プロセス、つまり、Tesla V100 でわずか 1.8 GPU 時間です。検索およびネットワーク生成用のコードは、 AutoML/XNAS で入手できます。
Neural Architecture Search (NAS) has demonstrated state-of-the-art performance on various computer vision tasks. Despite the superior performance achieved, the efficiency and generality of existing methods are highly valued due to their high computational complexity and low generality. In this paper, we propose an efficient and unified NAS framework termed DDPNAS via dynamic distribution pruning, facilitating a theoretical bound on accuracy and efficiency. In particular, we first sample architectures from a joint categorical distribution. Then the search space is dynamically pruned and its distribution is updated every few epochs. With the proposed efficient network generation method, we directly obtain the optimal neural architectures on given constraints, which is practical for on-device models across diverse search spaces and constraints. The architectures searched by our method achieve remarkable top-1 accuracies, 97.56 and 77.2 on CIFAR-10 and ImageNet (mobile settings), respectively, with the fastest search process, i.e., only 1.8 GPU hours on a Tesla V100. Codes for searching and network generation are available at: AutoML/XNAS.
updated: Fri Mar 10 2023 18:30:42 GMT+0000 (UTC)
published: Tue May 28 2019 06:35:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト