対照的な学習アプローチは、ターゲットクラスのラベルがほとんどない視覚的表現の学習で大きな成功を収めています。これは、キュレーションされた「シード」ベンチマークを超えて、インターネットスケールの外部ソースからのラベルのない画像をさらに組み込んでパフォーマンスを向上させるという魅力的な可能性を意味します。ただし、実際には、ラベルのないデータが大量にあると、モデルサイズが大きくなり、トレーニングが長くなるため、より多くのコンピューティングリソースが必要になります。さらに、オープンワールドのラベルなしデータは通常、暗黙のロングテールクラスまたは属性分布に従い、その多くはターゲットクラスにも属していません。したがって、ラベルのないすべてのデータを盲目的に活用すると、データの不均衡や注意散漫の問題が発生する可能性があります。これにより、関連するクラスの一般化可能でバランスの取れた多様な表現を学習するために、外部ソースからラベルなしデータを戦略的に選択するための原則的なアプローチを模索するようになります。この作業では、Model-Aware K-center(MAK)と呼ばれるオープンワールドのラベルなしデータサンプリングフレームワークを紹介します。これは、次の3つの単純な原則に従います。ランダムデータ拡張に対するサンプルの損失予測(ECLE)。 (2)近接性。これにより、トレーニングの邪魔になる可能性のある分布外の外れ値が拒否されます。 (3)多様性。これにより、サンプリングされた一連の例の多様性が保証されます。経験的に、シードデータセットとしてImageNet-100-LT(ラベルなし)と2つの「ノイズの多い」外部データソースを使用して、線形で評価した場合、MAKが学習した特徴の全体的な表現品質とクラスバランスの両方を一貫して改善できることを示しますフルショットおよび少数ショットの設定での分類器の評価。コードはhttps://github.com/VITA-Group/MAKで入手できます。
Contrastive learning approaches have achieved great success in learning visual representations with few labels of the target classes. That implies a tantalizing possibility of scaling them up beyond a curated "seed" benchmark, to incorporating more unlabeled images from the internet-scale external sources to enhance its performance. However, in practice, larger amount of unlabeled data will require more computing resources due to the bigger model size and longer training needed. Moreover, open-world unlabeled data usually follows an implicit long-tail class or attribute distribution, many of which also do not belong to the target classes. Blindly leveraging all unlabeled data hence can lead to the data imbalance as well as distraction issues. This motivates us to seek a principled approach to strategically select unlabeled data from an external source, in order to learn generalizable, balanced and diverse representations for relevant classes. In this work, we present an open-world unlabeled data sampling framework called Model-Aware K-center (MAK), which follows three simple principles: (1) tailness, which encourages sampling of examples from tail classes, by sorting the empirical contrastive loss expectation (ECLE) of samples over random data augmentations; (2) proximity, which rejects the out-of-distribution outliers that may distract training; and (3) diversity, which ensures diversity in the set of sampled examples. Empirically, using ImageNet-100-LT (without labels) as the seed dataset and two "noisy" external data sources, we demonstrate that MAK can consistently improve both the overall representation quality and the class balancedness of the learned features, as evaluated via linear classifier evaluation on full-shot and few-shot settings. The code is available at: https://github.com/VITA-Group/MAK