自然言語処理の分野に最初に適用されたトランスフォーマーは、主に自己注意メカニズムに基づくディープニューラルネットワークの一種です。その強力な表現機能のおかげで、研究者はコンピュータービジョンタスクにトランスフォーマーを適用する方法を検討しています。さまざまな視覚的ベンチマークで、トランスベースのモデルは、畳み込みネットワークやリカレントネットワークなどの他のタイプのネットワークと同等またはそれ以上のパフォーマンスを発揮します。その高性能と人間が定義した誘導バイアスの必要性を考えると、トランスフォーマーはコンピュータービジョンコミュニティからますます注目を集めています。このホワイトペーパーでは、これらのビジュアルトランスフォーマーモデルをさまざまなタスクに分類し、長所と短所を分析することで確認します。私たちが調査する主なカテゴリには、バックボーンネットワーク、高/中レベルのビジョン、低レベルのビジョン、およびビデオ処理が含まれます。また、トランスフォーマーの基本コンポーネントであるコンピュータービジョンの自己注意メカニズムについても簡単に説明します。さらに、実際のデバイスベースのアプリケーションにトランスをプッシュするための効率的なトランスメソッドが含まれています。このホワイトペーパーの終わりに向けて、課題について説明し、ビジュアルトランスフォーマーに関するいくつかのさらなる研究の方向性を示します。
Transformer, first applied to the field of natural language processing, is a type of deep neural network mainly based on the self-attention mechanism. Thanks to its strong representation capabilities, researchers are looking at ways to apply transformer to computer vision tasks. In a variety of visual benchmarks, transformer-based models perform similar to or better than other types of networks such as convolutional and recurrent networks. Given its high performance and no need for human-defined inductive bias, transformer is receiving more and more attention from the computer vision community. In this paper, we review these visual transformer models by categorizing them in different tasks and analyzing their advantages and disadvantages. The main categories we explore include the backbone network, high/mid-level vision, low-level vision, and video processing. We also take a brief look at the self-attention mechanism in computer vision, as it is the base component in transformer. Furthermore, we include efficient transformer methods for pushing transformer into real device-based applications. Toward the end of this paper, we discuss the challenges and provide several further research directions for visual transformers.