Transformerアーキテクチャは自然言語処理タスクの事実上の標準になっていますが、コンピュータビジョンへの適用は限られています。ビジョンでは、注意は畳み込みネットワークと組み合わせて適用されるか、全体的な構造を維持しながら畳み込みネットワークの特定のコンポーネントを置き換えるために使用されます。このCNNへの依存は不要であり、画像パッチのシーケンスに直接適用される純粋なトランスフォーマーは、画像分類タスクで非常にうまく機能することを示します。大量のデータについて事前にトレーニングし、複数の中規模または小規模の画像認識ベンチマーク(ImageNet、CIFAR-100、VTABなど)に転送すると、Vision Transformer(ViT)は最新の状態と比較して優れた結果を達成します。トレーニングに必要な計算リソースを大幅に削減しながら、畳み込みネットワークを構築します。
While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train.