視覚データをトークン(つまり、画像パッチ)としてモデル化し、それらの上に注意メカニズムまたはフィードフォワードネットワークを適用することは、近年非常に効果的であることが示されています。このようなアプローチの一般的なパイプラインには、トークン化方法と、それに続くトークン内とトークン間の両方での情報混合のためのレイヤー/ブロックのセットが含まれます。一般的に、画像パッチはトークンに変換されるときにフラット化され、各パッチ内の空間構造が破棄されます。次に、マルチヘッド自己注意などのモジュールは、トークン間のペアワイズ関係をキャプチャし、それらを混合します。このホワイトペーパーでは、トークン化で空間構造が保持され、混合段階で明示的に使用されると、モデルが大幅に向上する可能性があると主張します。 2つの重要な貢献を提案します:(1)構造を意識したトークン化と(2)構造を意識したミキシング。どちらも最小限の労力で既存のモデルと組み合わせることができます。 ImageNet分類やADE20Kセグメンテーションを含む複数のベンチマークにわたって、DeiT、MLP-Mixer、Swin Transformerなどのモデルよりも優れたモデルファミリー(SWAT)を紹介します。私たちのコードとモデルはオンラインでリリースされます。
Modeling visual data as tokens (i.e., image patches), and applying attention mechanisms or feed-forward networks on top of them has shown to be highly effective in recent years. The common pipeline in such approaches includes a tokenization method, followed by a set of layers/blocks for information mixing, both within tokens and among tokens. In common practice, image patches are flattened when converted into tokens, discarding the spatial structure within each patch. Next, a module such as multi-head self-attention captures the pairwise relations among the tokens and mixes them. In this paper, we argue that models can have significant gains when spatial structure is preserved in tokenization, and is explicitly used in the mixing stage. We propose two key contributions: (1) Structure-aware Tokenization and, (2) Structure-aware Mixing, both of which can be combined with existing models with minimal effort. We introduce a family of models (SWAT), showing improvements over the likes of DeiT, MLP-Mixer and Swin Transformer, across multiple benchmarks including ImageNet classification and ADE20K segmentation. Our code and models will be released online.