教師なしメタ学習は、ラベル付けされていないデータから構築されたタスクの分布全体で一般化可能な知識を学習することを目的としています。ここでの主な課題は、ラベル情報なしでメタ学習用の多様なタスクを構築する方法です。最近の研究では、たとえば、事前トレーニング済みの表現を介した疑似ラベル付けや、生成モデルを介した合成サンプルの作成を提案しています。ただし、このようなタスク構築戦略は、メタ学習中の不変の擬似ラベルへの依存度と、表現または生成されたサンプルの品質により、基本的に制限されます。制限を克服するために、少数ショット分類のための、シンプルでありながら効果的な教師なしメタ学習フレームワーク、疑似教師ありコントラスト (PsCo) を提案します。私たちは、最近の自己教師あり学習の文献に触発されています。 PsCo は、モメンタム ネットワークと以前のバッチのキューを利用して、疑似ラベリングを改善し、さまざまなタスクを漸進的に構築します。私たちの広範な実験は、さまざまなドメイン内およびクロスドメインの少数ショット分類ベンチマークの下で、PsCo が既存の教師なしメタ学習方法よりも優れていることを示しています。また、PsCo は大規模なベンチマークに容易に拡張できることも検証しましたが、最近の先行技術のメタスキームはそうではありません。
Unsupervised meta-learning aims to learn generalizable knowledge across a distribution of tasks constructed from unlabeled data. Here, the main challenge is how to construct diverse tasks for meta-learning without label information; recent works have proposed to create, e.g., pseudo-labeling via pretrained representations or creating synthetic samples via generative models. However, such a task construction strategy is fundamentally limited due to heavy reliance on the immutable pseudo-labels during meta-learning and the quality of the representations or the generated samples. To overcome the limitations, we propose a simple yet effective unsupervised meta-learning framework, coined Pseudo-supervised Contrast (PsCo), for few-shot classification. We are inspired by the recent self-supervised learning literature; PsCo utilizes a momentum network and a queue of previous batches to improve pseudo-labeling and construct diverse tasks in a progressive manner. Our extensive experiments demonstrate that PsCo outperforms existing unsupervised meta-learning methods under various in-domain and cross-domain few-shot classification benchmarks. We also validate that PsCo is easily scalable to a large-scale benchmark, while recent prior-art meta-schemes are not.