この論文は、個々のトークンに対する空間的に分散された視覚的表現と全体的なインスタンス表現を同時に学習するためのスケーラブルなアプローチを示しています。自己注意ブロックを使用して空間的に分散されたトークンを表し、続いて相互注意ブロックを使用して全体的な画像インスタンスを集約します。このアプローチの核心は、監視のためのデータ拡張として非常に大きなトークン マスキング (75% ~ 90%) を使用することです。 ExtreMA という名前の私たちのモデルは、プレーンな BYOL アプローチに従っており、マスクされていないサブセットからのインスタンス表現をトレーニングして、そのままの入力からそれを予測します。入力全体の不変性を促進する代わりに、モデルは画像内の有益な変化をキャプチャする必要があります。この論文は 3 つの貢献をしています。1) ランダム マスキングを、シャム表現学習のための強力で計算効率の高いデータ拡張として提示します。 2) インスタンスごとに複数のサンプリングを使用すると、エクストリーム マスキングによって学習が大幅に高速化され、より多くのデータでパフォーマンスが向上します。 3) ExtreMA は、マスクされたモデリング手法よりも強力な線形プロービング パフォーマンスと、以前の対照的なモデルよりも優れた転送パフォーマンスを取得します。
The paper presents a scalable approach for learning spatially distributed visual representations over individual tokens and a holistic instance representation simultaneously. We use self-attention blocks to represent spatially distributed tokens, followed by cross-attention blocks to aggregate the holistic image instance. The core of the approach is the use of extremely large token masking (75%-90%) as the data augmentation for supervision. Our model, named ExtreMA, follows the plain BYOL approach where the instance representation from the unmasked subset is trained to predict that from the intact input. Instead of encouraging invariance across inputs, the model is required to capture informative variations in an image. The paper makes three contributions: 1) It presents random masking as a strong and computationally efficient data augmentation for siamese representation learning. 2) With multiple sampling per instance, extreme masking greatly speeds up learning and improves performance with more data. 3) ExtreMA obtains stronger linear probing performance than masked modeling methods, and better transfer performance than prior contrastive models.