この論文では、サポートサンプル(PAWS)を使用してビューの割り当てを予測することにより、新しい学習方法を提案します。このメソッドは、一貫性の損失を最小限に抑えるようにモデルをトレーニングします。これにより、同じラベルのないインスタンスの異なるビューに同様の疑似ラベルが割り当てられます。疑似ラベルは、画像ビューの表現をランダムにサンプリングされたラベル付き画像のセットの表現と比較することにより、非パラメトリックに生成されます。ビュー表現とラベル付き表現の間の距離は、クラスラベルに重みを付けるために使用されます。これは、ソフト疑似ラベルとして解釈されます。このようにラベル付けされたサンプルを非パラメトリックに組み込むことにより、PAWSは、BYOLやSwAVなどの自己監視ありの方法で使用される距離メトリック損失を半教師あり設定に拡張します。アプローチの単純さにもかかわらず、PAWSはアーキテクチャ全体で他の半教師あり手法よりも優れており、ラベルの10%または1%でトレーニングされたImageNet上のResNet-50の新しい最先端を設定し、75.5%に達し、それぞれ66.5%トップ1。 PAWSは、以前の最良の方法よりも4倍から12倍少ないトレーニングを必要とします。
This paper proposes a novel method of learning by predicting view assignments with support samples (PAWS). The method trains a model to minimize a consistency loss, which ensures that different views of the same unlabeled instance are assigned similar pseudo-labels. The pseudo-labels are generated non-parametrically, by comparing the representations of the image views to those of a set of randomly sampled labeled images. The distance between the view representations and labeled representations is used to provide a weighting over class labels, which we interpret as a soft pseudo-label. By non-parametrically incorporating labeled samples in this way, PAWS extends the distance-metric loss used in self-supervised methods such as BYOL and SwAV to the semi-supervised setting. Despite the simplicity of the approach, PAWS outperforms other semi-supervised methods across architectures, setting a new state-of-the-art for a ResNet-50 on ImageNet trained with either 10% or 1% of the labels, reaching 75.5% and 66.5% top-1 respectively. PAWS requires 4x to 12x less training than the previous best methods.