事前にトレーニングされたImageNetモデルからの微調整は、さまざまなコンピュータービジョンタスクに対して、シンプルで効果的で一般的なアプローチです。微調整の一般的な方法は、事前にトレーニングされたモデルが固定されたデフォルトのハイパーパラメータ設定を採用することですが、どちらも特定のタスクや時間の制約に対して最適化されていません。さらに、タスクがストリームで順番に到着するクラウドコンピューティングまたはGPUクラスターでは、より高速なオンライン微調整が、コスト、エネルギー消費、およびCO2排出量を節約するためのより望ましい現実的な戦略です。この論文では、ユーザーの要求に応じて、より高速なタスク指向の微調整に向けて、NASOAという名前の共同ニューラルアーキテクチャ検索およびオンライン適応フレームワークを提案します。具体的には、NASOAは最初にオフラインNASを採用して、トレーニング効率の高いネットワークのグループを特定し、事前トレーニング済みのモデル動物園を形成します。柔軟で効率的な検索を可能にするために、新しいジョイントブロックとマクロレベルの検索スペースを提案します。次に、過去のタスクからの経験を蓄積することにより、適応モデルを介して微調整パフォーマンスを推定することにより、オンラインスケジュールジェネレータを提案して、最適なモデルを選択し、必要なタスクごとにパーソナライズされたトレーニング体制をワンショットで生成します。ファッション。結果として得られるモデル動物園は、SOTAモデルよりもトレーニング効率が高く、たとえばRegNetY-16GFより6倍速く、EfficientNetB3より1.7倍速くなります。複数のデータセットでの実験でも、NASOAがはるかに優れた微調整結果を達成していることが示されています。つまり、さまざまな制約やタスクの下で、RegNetシリーズの最高のパフォーマンスよりも約2.1%の精度が向上しています。 BOHBと比較して40倍高速です。
Fine-tuning from pre-trained ImageNet models has been a simple, effective, and popular approach for various computer vision tasks. The common practice of fine-tuning is to adopt a default hyperparameter setting with a fixed pre-trained model, while both of them are not optimized for specific tasks and time constraints. Moreover, in cloud computing or GPU clusters where the tasks arrive sequentially in a stream, faster online fine-tuning is a more desired and realistic strategy for saving money, energy consumption, and CO2 emission. In this paper, we propose a joint Neural Architecture Search and Online Adaption framework named NASOA towards a faster task-oriented fine-tuning upon the request of users. Specifically, NASOA first adopts an offline NAS to identify a group of training-efficient networks to form a pretrained model zoo. We propose a novel joint block and macro-level search space to enable a flexible and efficient search. Then, by estimating fine-tuning performance via an adaptive model by accumulating experience from the past tasks, an online schedule generator is proposed to pick up the most suitable model and generate a personalized training regime with respect to each desired task in a one-shot fashion. The resulting model zoo is more training efficient than SOTA models, e.g. 6x faster than RegNetY-16GF, and 1.7x faster than EfficientNetB3. Experiments on multiple datasets also show that NASOA achieves much better fine-tuning results, i.e. improving around 2.1% accuracy than the best performance in RegNet series under various constraints and tasks; 40x faster compared to the BOHB.