多くの実際のアプリケーションでは、リソースの制約とクラスのグループに対応する対象のスーパークラスが動的に指定される、さまざまなデプロイメントシナリオを処理する必要があることがよくあります。さまざまな展開シナリオでディープモデルを効率的に展開する方法は、新しい課題です。以前のNASアプローチは、すべてのクラスのアーキテクチャを同時に設計しようとしていますが、これは一部の個々のスーパークラスには最適ではない場合があります。簡単な解決策は、展開シナリオごとにアーキテクチャを最初から検索することですが、これは計算量が多く、実用的ではありません。これに対処するために、Elastic Architecture Search(EAS)と呼ばれる斬新で一般的なフレームワークを紹介します。これにより、さまざまなリソースの制約があるさまざまなスーパークラスを実行時に即座に特殊化できます。この目的のために、最初に、トレーニング中にさまざまなスーパークラスを解きほぐすために、スーパークラスドロップアウト戦略を介してパラメーター化されたネットワークを効果的にトレーニングすることを提案します。このようにして、結果のモデルは、推論時にドロップする後続のスーパークラスに対して堅牢です。次に、十分にトレーニングされた過剰パラメータ化されたネットワークに基づいて、単一のフォワードパス内で有望なアーキテクチャを取得するための効率的なアーキテクチャジェネレータを提案します。 3つの画像分類データセットでの実験により、EASは、最先端のNAS手法よりも桁違いに高速でありながら、より優れたパフォーマンスを備えたよりコンパクトなネットワークを見つけることができることが示されています。たとえば、提案されたEASは、50の展開シナリオで0.1秒以内にコンパクトなアーキテクチャを見つけます。
In many real-world applications, we often need to handle various deployment scenarios, where the resource constraint and the superclass of interest corresponding to a group of classes are dynamically specified. How to efficiently deploy deep models for diverse deployment scenarios is a new challenge. Previous NAS approaches seek to design architectures for all classes simultaneously, which may not be optimal for some individual superclasses. A straightforward solution is to search an architecture from scratch for each deployment scenario, which however is computation-intensive and impractical. To address this, we present a novel and general framework, called Elastic Architecture Search (EAS), permitting instant specializations at runtime for diverse superclasses with various resource constraints. To this end, we first propose to effectively train an over-parameterized network via a superclass dropout strategy to disentangle different superclasses during training. In this way, the resulting model is robust to the subsequent superclasses dropping at inference time. Based on the well-trained over-parameterized network, we then propose an efficient architecture generator to obtain promising architectures within a single forward pass. Experiments on three image classification datasets show that EAS is able to find more compact networks with better performance while remarkably being orders of magnitude faster than state-of-the-art NAS methods. For example, our proposed EAS finds compact architectures within 0.1 second for 50 deployment scenarios.