arXiv reaDer
Generic Neural Architecture Search via Regression
ほとんどの既存のニューラルアーキテクチャ検索(NAS)アルゴリズムは、コンピュータビジョンでの画像分類などのダウンストリームタスク専用です。ただし、広範な実験により、コンピュータービジョンのResNetや自然言語処理のLSTMなどの著名なニューラルアーキテクチャは、一般に入力データからパターンを抽出するのに優れており、さまざまなダウンストリームタスクでうまく機能することが示されています。これらの観察結果から、次のように尋ねることができます。特定のダウンストリームタスクのパフォーマンスを使用して、優れたニューラルアーキテクチャを評価および検索する必要がありますか。ダウンストリームタスクにとらわれずにNASを効果的かつ効率的に実行できますか?この作業では、上記の2つの質問に肯定的に答え、Generic NAS(GenNAS)と呼ばれる新しい汎用NASフレームワークを提案することにより、最先端のNASソリューションを改善しようとします。 GenNASは、タスク固有のラベルを使用しませんが、代わりに、アーキテクチャ評価のために手動で設計された合成信号ベースのセットで回帰を採用します。このような自己監視回帰タスクは、入力信号パターンをキャプチャして変換するアーキテクチャの固有の能力を効果的に評価し、トレーニングサンプルのより十分な使用を可能にします。次に、限定されたダウンストリームタスク固有のラベルを使用して合成信号の組み合わせを最適化し、GenNASのパフォーマンスをさらに向上させる自動タスク検索を提案します。また、すべての検索スペースでGenNASの一般性とエンドツーエンドのNASパフォーマンスを徹底的に評価します。これは、既存のほぼすべての作業を大幅に高速化して上回っています。
Most existing neural architecture search (NAS) algorithms are dedicated to the downstream tasks, e.g., image classification in computer vision. However, extensive experiments have shown that, prominent neural architectures, such as ResNet in computer vision and LSTM in natural language processing, are generally good at extracting patterns from the input data and perform well on different downstream tasks. These observations inspire us to ask: Is it necessary to use the performance of specific downstream tasks to evaluate and search for good neural architectures? Can we perform NAS effectively and efficiently while being agnostic to the downstream task? In this work, we attempt to affirmatively answer the above two questions and improve the state-of-the-art NAS solution by proposing a novel and generic NAS framework, termed Generic NAS (GenNAS). GenNAS does not use task-specific labels but instead adopts regression on a set of manually designed synthetic signal bases for architecture evaluation. Such a self-supervised regression task can effectively evaluate the intrinsic power of an architecture to capture and transform the input signal patterns, and allow more sufficient usage of training samples. We then propose an automatic task search to optimize the combination of synthetic signals using limited downstream-task-specific labels, further improving the performance of GenNAS. We also thoroughly evaluate GenNAS's generality and end-to-end NAS performance on all search spaces, which outperforms almost all existing works with significant speedup.
updated: Wed Aug 04 2021 08:21:12 GMT+0000 (UTC)
published: Wed Aug 04 2021 08:21:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト