arXiv reaDer
PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search
 微分可能アーキテクチャ検索(DARTS)は、効果的なネットワークアーキテクチャを見つけるための高速なソリューションを提供しましたが、スーパーネットワークを共同でトレーニングし、最適なアーキテクチャを検索する際に、大量のメモリと計算オーバーヘッドに悩まされていました。このホワイトペーパーでは、スーパースペースの小さな部分をサンプリングしてネットワーク空間の探索における冗長性を減らし、パフォーマンスを損なうことなくより効率的な検索を実行するという、新しいアプローチ、つまり部分接続DARTSを紹介します。特に、ショートカットの差し出された部分をバイパスしながら、チャネルのサブセットで操作検索を実行します。この戦略は、異なるチャネルをサンプリングすることによって引き起こされるスーパーネットのエッジを選択する際の望ましくない矛盾に悩まされる可能性があります。エッジ正規化を使用してそれを軽減します。これにより、エッジレベルのパラメーターの新しいセットが追加され、検索の不確実性が減少します。メモリコストが削減されたおかげで、PC-DARTSはより大きなバッチサイズでトレーニングでき、その結果、速度が速くなり、トレーニングの安定性が向上します。実験結果は、提案された方法の有効性を示しています。具体的には、CIFAR10でエラー検出率2.57%を達成し、アーキテクチャ検索ではわずか0.1 GPU日、3.8 GPUを使用したImageNet(モバイル設定)での最新のトップ1エラー率は24.2%です。 -検索のための日。コードはで入手できます。
Differentiable architecture search (DARTS) provided a fast solution in finding effective network architectures, but suffered from large memory and computing overheads in jointly training a super-network and searching for an optimal architecture. In this paper, we present a novel approach, namely, Partially-Connected DARTS, by sampling a small part of super-network to reduce the redundancy in exploring the network space, thereby performing a more efficient search without comprising the performance. In particular, we perform operation search in a subset of channels while bypassing the held out part in a shortcut. This strategy may suffer from an undesired inconsistency on selecting the edges of super-net caused by sampling different channels. We alleviate it using edge normalization, which adds a new set of edge-level parameters to reduce uncertainty in search. Thanks to the reduced memory cost, PC-DARTS can be trained with a larger batch size and, consequently, enjoys both faster speed and higher training stability. Experimental results demonstrate the effectiveness of the proposed method. Specifically, we achieve an error rate of 2.57% on CIFAR10 with merely 0.1 GPU-days for architecture search, and a state-of-the-art top-1 error rate of 24.2% on ImageNet (under the mobile setting) using 3.8 GPU-days for search. Our code has been made available at:
updated: Tue Apr 07 2020 06:20:35 GMT+0000 (UTC)
published: Fri Jul 12 2019 13:26:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト