ニューラルアーキテクチャ検索(NAS)は、タスク固有のニューラルネットワークを自動的に設計するための有望な手段として浮上しています。既存のNASアプローチでは、ハードウェアまたは目的の展開仕様ごとに1回の完全な検索が必要です。これは、潜在的に多数のアプリケーションシナリオを考えると、計算上非現実的な試みです。この論文では、この制限を克服するためにニューラルアーキテクチャ転送(NAT)を提案します。 NATは、複数の相反する目的の下で競争力のあるタスク固有のカスタムモデルを効率的に生成するように設計されています。この目標を実現するために、追加のトレーニングなしで特殊なサブネットをサンプリングできるタスク固有のスーパーネットを学習します。私たちのアプローチの鍵は、統合されたオンライン転送学習と多目的進化的検索手順です。事前にトレーニングされたスーパーネットは、タスク固有のサブネットを同時に検索しながら、繰り返し適応されます。大規模なマルチクラスから小規模のきめ細かいデータセットまで、11のベンチマーク画像分類タスクに対するNATの有効性を示します。 ImageNetを含むすべての場合において、NATNetは、モバイル設定(≤600M乗算加算)での最先端技術を改善します。驚いたことに、小規模のきめ細かいデータセットは、NATから最も恩恵を受けています。同時に、アーキテクチャの検索と転送は、既存のNASメソッドよりも桁違いに効率的です。全体として、実験的評価は、多様な画像分類タスクと計算目的にわたって、NATは、標準データセットで学習された既存のネットワークアーキテクチャの重みを微調整する従来の転送学習よりもかなり効果的な代替手段であることを示しています。コードはhttps://github.com/human-analysis/neural-architecture-transferで入手できます。
Neural architecture search (NAS) has emerged as a promising avenue for automatically designing task-specific neural networks. Existing NAS approaches require one complete search for each deployment specification of hardware or objective. This is a computationally impractical endeavor given the potentially large number of application scenarios. In this paper, we propose Neural Architecture Transfer (NAT) to overcome this limitation. NAT is designed to efficiently generate task-specific custom models that are competitive under multiple conflicting objectives. To realize this goal we learn task-specific supernets from which specialized subnets can be sampled without any additional training. The key to our approach is an integrated online transfer learning and many-objective evolutionary search procedure. A pre-trained supernet is iteratively adapted while simultaneously searching for task-specific subnets. We demonstrate the efficacy of NAT on 11 benchmark image classification tasks ranging from large-scale multi-class to small-scale fine-grained datasets. In all cases, including ImageNet, NATNets improve upon the state-of-the-art under mobile settings (≤ 600M Multiply-Adds). Surprisingly, small-scale fine-grained datasets benefit the most from NAT. At the same time, the architecture search and transfer is orders of magnitude more efficient than existing NAS methods. Overall, the experimental evaluation indicates that, across diverse image classification tasks and computational objectives, NAT is an appreciably more effective alternative to conventional transfer learning of fine-tuning weights of an existing network architecture learned on standard datasets. Code is available at https://github.com/human-analysis/neural-architecture-transfer