最近、自己監視学習(SSL)によるラベルなしの大量データのトレーニングモデルと多くのダウンストリームタスクの微調整のパラダイムがトレンドになっています。ただし、トレーニングコストが高く、ダウンストリームの使用法が意識されていないため、さまざまなデータドメイン、さまざまなビジョンタスク、モデルのレイテンシの制約があるため、ほとんどの自己監視型学習方法には、ダウンストリームシナリオの多様性に対応する機能がありません。ニューラルアーキテクチャ検索(NAS)は、上記の問題を克服するための広く認められた方法の1つですが、モデル選択を判断するためのラベルやメトリックが提供されていないため、SSLにNASを適用することは不可能のようです。このホワイトペーパーでは、ドメイン対応およびタスク対応の事前トレーニングを提供する、SSLに特化したシンプルで効果的なNASアプローチであるDATAを紹介します。具体的には、(i)ラベルなしで幅広いモデルスケールをカバーする数百万のネットワークのセットと見なすことができるスーパーネットをトレーニングし、(ii)さまざまな計算コストのネットワークを検索できるSSLと互換性のある柔軟な検索メカニズムを提案します、明示的なメトリックが提供されていないさまざまなダウンストリームビジョンタスクおよびデータドメイン用。 MoCo v2を使用してインスタンス化されたこの方法は、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、ダウンストリームタスクの幅広い計算コストで有望な結果を実現します。 DATAは、ほとんどの既存のSSLメソッドと直交しており、ダウンストリームのニーズに合わせてカスタマイズする機能を提供します。他のSSLメソッドに関する広範な実験は、提案されたメソッドの一般化可能性を示しています。コードはhttps://github.com/GAIA-vision/GAIA-sslでリリースされています
The paradigm of training models on massive data without label through self-supervised learning (SSL) and finetuning on many downstream tasks has become a trend recently. However, due to the high training costs and the unconsciousness of downstream usages, most self-supervised learning methods lack the capability to correspond to the diversities of downstream scenarios, as there are various data domains, different vision tasks and latency constraints on models. Neural architecture search (NAS) is one universally acknowledged fashion to conquer the issues above, but applying NAS on SSL seems impossible as there is no label or metric provided for judging model selection. In this paper, we present DATA, a simple yet effective NAS approach specialized for SSL that provides Domain-Aware and Task-Aware pre-training. Specifically, we (i) train a supernet which could be deemed as a set of millions of networks covering a wide range of model scales without any label, (ii) propose a flexible searching mechanism compatible with SSL that enables finding networks of different computation costs, for various downstream vision tasks and data domains without explicit metric provided. Instantiated With MoCo v2, our method achieves promising results across a wide range of computation costs on downstream tasks, including image classification, object detection and semantic segmentation. DATA is orthogonal to most existing SSL methods and endows them the ability of customization on downstream needs. Extensive experiments on other SSL methods demonstrate the generalizability of the proposed method. Code is released at https://github.com/GAIA-vision/GAIA-ssl