この論文では、グループ同変ニューラル ネットワーク上での自己教師あり学習のための口実タスクを構築する方法を提案します。グループ同変ニューラル ネットワークは、その構造が入力の変換と交換するように制限されているモデルです。したがって、この等分散性と矛盾しない自己教師あり学習の口実タスクを構築することが重要です。トレーニングが等分散と一致していることを確認するために、自己教師ありタスクの 2 つの概念を提案します: 等変の口実ラベルと不変のコントラスト損失です。同変の口実ラベルは、入力変更に対応する変換を定義できる一連のラベルを使用します。インバリアント コントラスト ロスは、各入力に対する変換の影響を吸収する修正されたコントラスト ロスを使用します。標準的な画像認識ベンチマークでの実験は、同変ニューラル ネットワークが提案された同変自己教師付きタスクを利用することを示しています。
This paper proposes a method to construct pretext tasks for self-supervised learning on group equivariant neural networks. Group equivariant neural networks are the models whose structure is restricted to commute with the transformations on the input. Therefore, it is important to construct pretext tasks for self-supervised learning that do not contradict this equivariance. To ensure that training is consistent with the equivariance, we propose two concepts for self-supervised tasks: equivariant pretext labels and invariant contrastive loss. Equivariant pretext labels use a set of labels on which we can define the transformations that correspond to the input change. Invariant contrastive loss uses a modified contrastive loss that absorbs the effect of transformations on each input. Experiments on standard image recognition benchmarks demonstrate that the equivariant neural networks exploit the proposed equivariant self-supervised tasks.