この論文では、視覚表現学習のための効率的な自己監視型ビジョントランスフォーマー(EsViT)を開発するための2つの手法を調査します。最初に、包括的な経験的研究を通じて、スパースな自己注意を備えた多段階アーキテクチャがモデリングの複雑さを大幅に軽減できるが、画像領域間のきめ細かい対応をキャプチャする機能を失うというコストがかかることを示します。次に、領域マッチングの新しい事前トレーニングタスクを提案します。これにより、モデルがきめ細かい領域依存関係をキャプチャできるようになり、その結果、学習した視覚表現の品質が大幅に向上します。私たちの結果は、2つの手法を組み合わせることで、EsViTがImageNet線形プローブ評価で81.3%のトップ1を達成し、従来技術を約1桁高いスループットで上回っていることを示しています。ダウンストリームの線形分類タスクに移行する場合、EsViTは、18個のデータセットのうち17個で教師あり対応を上回ります。コードとモデルは公開されています:https://github.com/microsoft/esvit
This paper investigates two techniques for developing efficient self-supervised vision transformers (EsViT) for visual representation learning. First, we show through a comprehensive empirical study that multi-stage architectures with sparse self-attentions can significantly reduce modeling complexity but with a cost of losing the ability to capture fine-grained correspondences between image regions. Second, we propose a new pre-training task of region matching which allows the model to capture fine-grained region dependencies and as a result significantly improves the quality of the learned vision representations. Our results show that combining the two techniques, EsViT achieves 81.3% top-1 on the ImageNet linear probe evaluation, outperforming prior arts with around an order magnitude of higher throughput. When transferring to downstream linear classification tasks, EsViT outperforms its supervised counterpart on 17 out of 18 datasets. The code and models are publicly available: https://github.com/microsoft/esvit