LAVA は、限られたデータを使用したマルチドメインの視覚伝達学習のためのシンプルで効果的な方法です。 LAVA は、クラスとドメインのシフトを伴う部分的にラベル付けされたデータセットに適応できるようにするために、いくつかの最近の技術革新に基づいて構築されています。まず、LAVA はソース データセットで自己教師ありの視覚的表現を学習し、クラス ラベル セマンティクスを使用してそれらを基礎付け、教師ありの事前トレーニングに関連する伝達崩壊の問題を克服します。第二に、LAVA は、マルチクロップの増強を使用して非常に堅牢な疑似ラベルを取得する新しい方法を介して、ラベルのないターゲット データからの利益を最大化します。これらの要素を組み合わせることで、LAVA は、ImageNet の半教師付きプロトコル、およびメタデータセットでのマルチドメインの少数ショット学習の 10 個のデータセットのうち 7 個で、新しい最先端技術を実現します。コードとモデルが利用可能になります。
We present LAVA, a simple yet effective method for multi-domain visual transfer learning with limited data. LAVA builds on a few recent innovations to enable adapting to partially labelled datasets with class and domain shifts. First, LAVA learns self-supervised visual representations on the source dataset and ground them using class label semantics to overcome transfer collapse problems associated with supervised pretraining. Secondly, LAVA maximises the gains from unlabelled target data via a novel method which uses multi-crop augmentations to obtain highly robust pseudo-labels. By combining these ingredients, LAVA achieves a new state-of-the-art on ImageNet semi-supervised protocol, as well as on 7 out of 10 datasets in multi-domain few-shot learning on the Meta-dataset. Code and models are made available.