この論文では、学生教師ベースの自己教師あり学習のための新しいアプローチ、Momentum ^ 2Teacherを紹介します。このアプローチは、ネットワークの重みとバッチ正規化(BN)統計の両方で勢いの更新を実行します。教師の体重は生徒の勢いの更新であり、教師のBN統計は歴史上のものの勢いの更新です。 Momentum ^ 2Teacherはシンプルで効率的です。 TPUなどの特別なハードウェアでの大規模なトレーニングやGPU操作全体での非効率性(BNのシャッフルなど)を必要とせずに、小さなバッチサイズ(128など)を使用してImageNet線形評価プロトコルで最先端の結果(74.5%)を達成できます。 、同期BN)。実装と事前トレーニング済みのモデルは、GitHubhttps://github.com/zengarden/momentum2-teacherで提供されます。
In this paper, we present a novel approach, Momentum^2 Teacher, for student-teacher based self-supervised learning. The approach performs momentum update on both network weights and batch normalization (BN) statistics. The teacher's weight is a momentum update of the student, and the teacher's BN statistics is a momentum update of those in history. The Momentum^2 Teacher is simple and efficient. It can achieve the state of the art results (74.5%) under ImageNet linear evaluation protocol using small-batch size(e.g. , 128), without requiring large-batch training on special hardware like TPU or inefficient across GPU operation (e.g. , shuffling BN, synced BN). Our implementation and pre-trained models will be given on GitHubhttps://github.com/zengarden/momentum2-teacher.