ビジョン トランスフォーマーは、多くのビジョン タスクで優れたパフォーマンスを達成しています。ただし、浅いレイヤーのローカル機能をキャプチャする際の冗長性が高くなる可能性があります。したがって、局所的な自己注意または初期段階の畳み込みが利用され、長期的な依存関係をキャプチャする能力が犠牲になります。ニューラル ネットワークの初期段階で、効率的かつ効果的なグローバル コンテキスト モデリングにアクセスできるでしょうか?この問題に対処するために、スーパーピクセルの設計からインスピレーションを得て、後続の処理で画像プリミティブの数を減らし、ビジョン トランスフォーマーにスーパー トークンを導入します。スーパー トークンは、意味的に意味のあるビジュアル コンテンツのテッセレーションを提供しようとするため、自己注意のトークン数を減らし、グローバル モデリングを維持します。具体的には、シンプルでありながら強力なスーパー トークン アテンション (STA) メカニズムを 3 つのステップで提案します。最初のステップでは、スパース アソシエーション学習を介してビジュアル トークンからスーパー トークンをサンプリングし、2 番目のステップでスーパー トークンに対してセルフ アテンションを実行し、最後にそれらをオリジナルトークンスペース。 STA は、バニラのグローバルな注意を疎な関連付けマップと低次元の注意の乗算に分解し、グローバルな依存関係を効率的にキャプチャします。 STA に基づいて、階層型ビジョン トランスフォーマーを開発します。広範な実験により、さまざまな視覚タスクでの強力なパフォーマンスが実証されています。特に、追加のトレーニング データやラベルなしで、ImageNet-1K で 1 億未満のパラメーターを使用して 86.4% のトップ 1 精度を達成します。また、COCO 検出タスクで 53.9 ボックス AP と 46.8 マスク AP を達成し、ADE20K セマンティック セグメンテーション タスクで 51.9 mIOU を達成します。コードは https://github.com/hhb072/SViT で公開されます。
Vision transformer has achieved impressive performance for many vision tasks. However, it may suffer from high redundancy in capturing local features for shallow layers. Local self-attention or early-stage convolutions are thus utilized, which sacrifice the capacity to capture long-range dependency. A challenge then arises: can we access efficient and effective global context modeling at the early stages of a neural network? To address this issue, we draw inspiration from the design of superpixels, which reduces the number of image primitives in subsequent processing, and introduce super tokens into vision transformer. Super tokens attempt to provide a semantically meaningful tessellation of visual content, thus reducing the token number in self-attention as well as preserving global modeling. Specifically, we propose a simple yet strong super token attention (STA) mechanism with three steps: the first samples super tokens from visual tokens via sparse association learning, the second performs self-attention on super tokens, and the last maps them back to the original token space. STA decomposes vanilla global attention into multiplications of a sparse association map and a low-dimensional attention, leading to high efficiency in capturing global dependencies. Based on STA, we develop a hierarchical vision transformer. Extensive experiments demonstrate its strong performance on various vision tasks. In particular, without any extra training data or label, it achieves 86.4% top-1 accuracy on ImageNet-1K with less than 100M parameters. It also achieves 53.9 box AP and 46.8 mask AP on the COCO detection task, and 51.9 mIOU on the ADE20K semantic segmentation task. Code will be released at https://github.com/hhb072/SViT.