自己教師あり、教師あり、または半教師ありの設定での表現学習に関心があります。自己監視学習に平均シフトのアイデアを適用する以前の作業であるMSFは、クエリ画像を他の拡張に近づけるだけでなく、他の拡張の最近傍(NN)にも近づけることで、BYOLのアイデアを一般化します。まだ意味的にクエリに関連している遠く離れた隣人を選択することで、学習にメリットがあると信じています。したがって、最近傍の探索空間を制約することにより、MSFアルゴリズムを一般化することを提案します。制約が画像の異なる拡張を利用する場合、このメソッドはSSL設定でMSFよりも優れており、制約によってNNがクエリと同じ疑似ラベルを持つことが保証される場合、トレーニングリソースが少ない半教師あり設定でPAWSよりも優れていることを示します。
We are interested in representation learning in self-supervised, supervised, or semi-supervised settings. The prior work on applying mean-shift idea for self-supervised learning, MSF, generalizes the BYOL idea by pulling a query image to not only be closer to its other augmentation, but also to the nearest neighbors (NNs) of its other augmentation. We believe the learning can benefit from choosing far away neighbors that are still semantically related to the query. Hence, we propose to generalize MSF algorithm by constraining the search space for nearest neighbors. We show that our method outperforms MSF in SSL setting when the constraint utilizes a different augmentation of an image, and outperforms PAWS in semi-supervised setting with less training resources when the constraint ensures the NNs have the same pseudo-label as the query.