arXiv reaDer
One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
目覚ましい進歩が達成されたにもかかわらず、ほとんどのニューラルアーキテクチャ検索(NAS)メソッドは、単一の正確で堅牢なアーキテクチャの検索に重点を置いています。より優れた一般化機能とパフォーマンスを備えたモデルをさらに構築するために、通常、モデルアンサンブルが採用され、スタンドアロンモデルよりも優れたパフォーマンスを発揮します。モデルアンサンブルのメリットに触発されて、強力なモデルを見つけるための代替方法として、複数の多様なモデルを同時に検索することを提案します。アンサンブルの検索は重要であり、2つの重要な課題があります。それは、検索スペースの拡大と、検索されたモデルの複雑さの可能性です。この論文では、2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャ検索(NEAS)ソリューションを提案します。最初の課題として、候補演算子の可能性と多様性の両方を考慮して、検索スペースの縮小をガイドする新しい多様性ベースのメトリックを紹介します。 2番目の課題では、効率を上げるために、新しい検索ディメンションでさまざまなモデル間のレイヤー共有を学習できるようにします。 ImageNetでの実験は、私たちのソリューションがアンサンブルアーキテクチャをランク付けするスーパーネットの能力を向上させ、さらに検索結果を向上させることができることを明確に示しています。発見されたアーキテクチャは、調整された設定の下でMobileNetV3やEfficientNetファミリなどの最先端技術と比較して優れたパフォーマンスを実現します。さらに、COCO検出ベンチマークで検索されたアーキテクチャの一般化能力と堅牢性を評価し、MobileNetV3と比較してAPで3.1%の改善を達成します。コードとモデルはで入手できます。
Despite remarkable progress achieved, most neural architecture search (NAS) methods focus on searching for one single accurate and robust architecture. To further build models with better generalization capability and performance, model ensemble is usually adopted and performs better than stand-alone models. Inspired by the merits of model ensemble, we propose to search for multiple diverse models simultaneously as an alternative way to find powerful models. Searching for ensembles is non-trivial and has two key challenges: enlarged search space and potentially more complexity for the searched model. In this paper, we propose a one-shot neural ensemble architecture search (NEAS) solution that addresses the two challenges. For the first challenge, we introduce a novel diversity-based metric to guide search space shrinking, considering both the potentiality and diversity of candidate operators. For the second challenge, we enable a new search dimension to learn layer sharing among different models for efficiency purposes. The experiments on ImageNet clearly demonstrate that our solution can improve the supernet's capacity of ranking ensemble architectures, and further lead to better search results. The discovered architectures achieve superior performance compared with state-of-the-arts such as MobileNetV3 and EfficientNet families under aligned settings. Moreover, we evaluate the generalization ability and robustness of our searched architecture on the COCO detection benchmark and achieve a 3.1% improvement on AP compared with MobileNetV3. Codes and models are available at
updated: Fri Jul 16 2021 17:17:16 GMT+0000 (UTC)
published: Thu Apr 01 2021 16:29:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト