最近提案された敵対的な自己監視学習方法は、通常、堅牢な機能を抽出するために大きなバッチと長いトレーニングエポックを必要としますが、これは実際のアプリケーションには適していません。この論文では、2つのメモリバンクを活用して異なるミニバッチ全体の不変の特徴を追跡する、新しい敵対的な運動量対照学習アプローチを紹介します。これらのメモリバンクは、各反復に効率的に組み込むことができ、ネットワークがより小さなバッチとはるかに少ないエポックでより堅牢な機能表現を学習するのに役立ちます。さらに、分類タスクを微調整した後、提案されたアプローチは、実世界のデータセットに対するいくつかの最先端の教師ありベースラインのパフォーマンスを満たすか、それを超えることができます。私たちのコードはhttps://github.com/MTandHJ/amocで入手できます。
Recently proposed adversarial self-supervised learning methods usually require big batches and long training epochs to extract robust features, which is not friendly in practical application. In this paper, we present a novel adversarial momentum-contrastive learning approach that leverages two memory banks to track the invariant features across different mini-batches. These memory banks can be efficiently incorporated into each iteration and help the network to learn more robust feature representations with smaller batches and far fewer epochs. Furthermore, after fine-tuning on the classification tasks, the proposed approach can meet or exceed the performance of some state-of-the-art supervised baselines on real world datasets. Our code is available at https://github.com/MTandHJ/amoc.