arXiv reaDer
Elastic Architecture Search for Diverse Tasks with Different Resources
クラスのグループに対応するリソースの制約と対象のタスクがテスト時に動的に指定される、さまざまなリソースを持つさまざまなタスクの効率的な展開という新しい挑戦的な問題を研究します。以前のNASアプローチは、すべてのクラスのアーキテクチャを同時に設計しようとしていますが、これは一部の個々のタスクには最適ではない場合があります。簡単な解決策は、展開シナリオごとにアーキテクチャを最初から検索することですが、これは計算量が多く、実用的ではありません。これに対処するために、Elastic Architecture Search(EAS)と呼ばれる斬新で一般的なフレームワークを紹介します。これにより、さまざまなリソースの制約があるさまざまなタスクを実行時に即座に特殊化できます。この目的のために、最初に、トレーニング中にタスクを解きほぐすために、タスクドロップアウト戦略を介してパラメーター化されたネットワークを効果的にトレーニングすることを提案します。このようにして、結果のモデルは、推論時にドロップする後続のタスクに対して堅牢です。次に、十分にトレーニングされた過剰パラメータ化されたネットワークに基づいて、単一のフォワードパス内で最適なアーキテクチャを取得するための効率的なアーキテクチャジェネレータを提案します。 2つの画像分類データセットでの実験により、EASは、最先端のNAS手法よりも桁違いに高速でありながら、より優れたパフォーマンスを備えたよりコンパクトなネットワークを見つけることができることが示されています。たとえば、提案されたEASは、50の展開シナリオで0.1秒以内にコンパクトなアーキテクチャを見つけます。
We study a new challenging problem of efficient deployment for diverse tasks with different resources, where the resource constraint and task of interest corresponding to a group of classes are dynamically specified at testing time. Previous NAS approaches seek to design architectures for all classes simultaneously, which may not be optimal for some individual tasks. A straightforward solution is to search an architecture from scratch for each deployment scenario, which however is computation-intensive and impractical. To address this, we present a novel and general framework, called Elastic Architecture Search (EAS), permitting instant specializations at runtime for diverse tasks with various resource constraints. To this end, we first propose to effectively train the over-parameterized network via a task dropout strategy to disentangle the tasks during training. In this way, the resulting model is robust to the subsequent task dropping at inference time. Based on the well-trained over-parameterized network, we then propose an efficient architecture generator to obtain optimal architectures within a single forward pass. Experiments on two image classification datasets show that EAS is able to find more compact networks with better performance while remarkably being orders of magnitude faster than state-of-the-art NAS methods. For example, our proposed EAS finds compact architectures within 0.1 second for 50 deployment scenarios.
updated: Tue Aug 03 2021 00:54:27 GMT+0000 (UTC)
published: Tue Aug 03 2021 00:54:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト