arXiv reaDer
Improving One-shot NAS by Suppressing the Posterior Fading
  自動化されたニューラルアーキテクチャ検索(NAS)に対する関心が高まっています。 NASの効率を向上させるために、以前のアプローチでは、すべてのモデルが同じ重みセットを共有するようにする重み共有方式を採用しています。ただし、重みを共有してパフォーマンスが向上したモデルは、単独でトレーニングした場合に必ずしもパフォーマンスが向上するとは限らないことが観察されています。この論文では、ベイズの観点から既存のウェイト共有ワンショットNASアプローチを分析し、共有ウェイトの有効性を損なう事後フェージング問題を特定します。この問題を軽減するために、パラメーターを実際の分布に向けて導く実用的なアプローチを提示します。さらに、検索中にハードレイテンシの制約が導入されるため、目的のレイテンシを実現できます。結果として得られた方法、つまりPosterior Convergent NAS(PC-NAS)は、ImageNetの標準GPUレイテンシー制約の下で最先端のパフォーマンスを達成します。小規模な検索スペースでは、モデルPC-NAS-Sの精度が76.8%で、同じレイテンシでMobileNetV2(1.4x)より2.1%高い精度を実現しています。大規模な検索スペースに採用されたPC-NAS-Lは、11ms以内で78.1%のトップ1精度を達成します。発見されたアーキテクチャは、オブジェクト検出や個人の再識別など、他のコンピュータービジョンアプリケーションにもうまく移行します。
There is a growing interest in automated neural architecture search (NAS). To improve the efficiency of NAS, previous approaches adopt weight sharing method to force all models share the same set of weights. However, it has been observed that a model performing better with shared weights does not necessarily perform better when trained alone. In this paper, we analyse existing weight sharing one-shot NAS approaches from a Bayesian point of view and identify the posterior fading problem, which compromises the effectiveness of shared weights. To alleviate this problem, we present a practical approach to guide the parameter posterior towards its true distribution. Moreover, a hard latency constraint is introduced during the search so that the desired latency can be achieved. The resulted method, namely Posterior Convergent NAS (PC-NAS), achieves state-of-the-art performance under standard GPU latency constraint on ImageNet. In our small search space, our model PC-NAS-S attains 76.8 % top-1 accuracy, 2.1% higher than MobileNetV2 (1.4x) with the same latency. When adopted to the large search space, PC-NAS-L achieves 78.1 % top-1 accuracy within 11ms. The discovered architecture also transfers well to other computer vision applications such as object detection and person re-identification.
updated: Sun Oct 06 2019 22:31:37 GMT+0000 (UTC)
published: Sun Oct 06 2019 22:31:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト