本稿では、NASの効率をさらに向上させるBNAS-v2を提案し、BCNNの両方の利点を同時に具現化します。 BNASでの不公平なトレーニングの問題を軽減するために、継続的な緩和戦略を採用して、BCNNのセルの各エッジをすべての候補操作に関連させ、BNAS-v2の勾配ベースの最適化アルゴリズムが単一ではなくすべての可能なパスを同時に更新できるようにします。 BNASでサンプリングしたもの。さらに、連続緩和戦略は、事前定義されたすべての操作に対するソフトマックスとしての候補操作の選択を緩和します。ただし、継続的な緩和は、パフォーマンスの崩壊と呼ばれる別の問題につながります。この問題では、これらの重みのない操作が検索戦略によって選択される傾向があります。この結果として生じる問題について、2つの解決策が与えられます。1)アーキテクチャの重みの更新の勾配の信頼性を考慮した自信のある学習率(CLR)を提案し、パラメータが過剰なBCNNのトレーニング時間とともに増加します。 2)メモリ効率をさらに向上させることができる部分チャネル接続とエッジ正規化の組み合わせを紹介します。さらに、微分可能なBNAS(つまり、連続緩和を伴うBNAS)をBNAS-D、CLRを備えたBNAS-DをBNAS-v2-CLR、部分的に接続されたBNAS-DをBNAS-v2-PCと呼びます。 CIFAR-10とImageNetの実験結果は、1)BNAS-v2がCIFAR-10(BNASの4倍速い0.05 GPU日)とImageNet(0.19 GPU日)の両方で最先端の検索効率を提供することを示しています。 2)提案されたCLRは、BNAS-Dとバニラ微分可能NASフレームワークの両方でパフォーマンスの崩壊の問題を軽減するのに効果的です。
In this paper, we propose BNAS-v2 to further improve the efficiency of NAS, embodying both superiorities of BCNN simultaneously. To mitigate the unfair training issue in BNAS, we employ continuous relaxation strategy to make each edge of cell in BCNN relevant to all candidate operations, so that the gradient-based optimization algorithm of BNAS-v2 can update every possible path simultaneously rather than the single sampled one in BNAS. Moreover, the continuous relaxation strategy relaxes the choice of a candidate operation as a softmax over all predefined operations. However, continuous relaxation leads to another issue named performance collapse, where those weight-free operations are prone to be selected by the search strategy. For this consequent issue, two solutions are given: 1) we propose Confident Learning Rate (CLR) that considers the confidence of gradient for architecture weights update, increasing with the training time of over-parameterized BCNN; 2) we introduce the combination of partial channel connections and edge normalization that also can improve the memory efficiency further. Moreover, we denote differentiable BNAS (i.e. BNAS with continuous relaxation) as BNAS-D, BNAS-D with CLR as BNAS-v2-CLR, and partial-connected BNAS-D as BNAS-v2-PC. Experimental results on CIFAR-10 and ImageNet show that 1) BNAS-v2 delivers state-of-the-art search efficiency on both CIFAR-10 (0.05 GPU days that is 4x faster than BNAS) and ImageNet (0.19 GPU days); and 2) the proposed CLR is effective to alleviate the performance collapse issue in both BNAS-D and vanilla differentiable NAS framework.