トランスフォーマーは、モダリティ、ドメイン、およびタスク全体で最も頻繁に適用されるディープ ラーニング アーキテクチャの 1 つになりつつあります。ビジョンでは、単純なトランスフォーマーへの継続的な取り組みに加えて、そのパフォーマンスと既存のフレームワークへの容易な統合のおかげで、階層トランスフォーマーも大きな注目を集めています。これらのモデルは通常、スライディング ウィンドウの近隣注意 (NA) や Swin Transformer の Shifted Window Self Attention などのローカライズされた注意メカニズムを採用しています。自己注意の二次的な複雑さを軽減するのに効果的ですが、ローカル注意は、自己注意の最も望ましい特性のうちの 2 つ、つまり長期相互依存モデリングとグローバル受容野を弱めます。このホワイト ペーパーでは、Dilated Neighborhood Attention (DiNA) を紹介します。これは、よりグローバルなコンテキストをキャプチャし、追加コストなしで指数関数的に受容野を拡張できる NA の自然で柔軟かつ効率的な拡張機能です。 NA のローカルな注意と DiNA のまばらなグローバルな注意は互いに補完し合うため、両方に基づいて構築された新しい階層的ビジョン トランスフォーマーである Dilated Neighborhood Attention Transformer (DiNAT) を導入します。 DiNAT の亜種は、NAT、Swin、ConvNeXt などの強力なベースラインよりも大幅に改善されています。私たちの大規模なモデルは、COCO オブジェクト検出で 1.6% ボックス AP、COCO インスタンス セグメンテーションで 1.4% マスク AP、ADE20K セマンティック セグメンテーションで 1.4% mIoU で、Swin の対応するモデルより高速で優れています。新しいフレームワークと組み合わせた当社の大きなバリアントは、COCO (58.5 PQ) と ADE20K (49.4 PQ) の新しい最先端のパノプティック セグメンテーション モデルであり、Cityscapes (45.1 AP) と ADE20K (35.4 AP) のインスタンス セグメンテーション モデルです (追加料金なし)。データ)。また、ADE20K (58.1 mIoU) の最先端の特殊なセマンティック セグメンテーション モデルと一致し、Cityscapes (84.5 mIoU) で 2 位にランクされています (追加データなし)。
Transformers are quickly becoming one of the most heavily applied deep learning architectures across modalities, domains, and tasks. In vision, on top of ongoing efforts into plain transformers, hierarchical transformers have also gained significant attention, thanks to their performance and easy integration into existing frameworks. These models typically employ localized attention mechanisms, such as the sliding-window Neighborhood Attention (NA) or Swin Transformer's Shifted Window Self Attention. While effective at reducing self attention's quadratic complexity, local attention weakens two of the most desirable properties of self attention: long range inter-dependency modeling, and global receptive field. In this paper, we introduce Dilated Neighborhood Attention (DiNA), a natural, flexible and efficient extension to NA that can capture more global context and expand receptive fields exponentially at no additional cost. NA's local attention and DiNA's sparse global attention complement each other, and therefore we introduce Dilated Neighborhood Attention Transformer (DiNAT), a new hierarchical vision transformer built upon both. DiNAT variants enjoy significant improvements over strong baselines such as NAT, Swin, and ConvNeXt. Our large model is faster and ahead of its Swin counterpart by 1.6% box AP in COCO object detection, 1.4% mask AP in COCO instance segmentation, and 1.4% mIoU in ADE20K semantic segmentation. Paired with new frameworks, our large variant is the new state of the art panoptic segmentation model on COCO (58.5 PQ) and ADE20K (49.4 PQ), and instance segmentation model on Cityscapes (45.1 AP) and ADE20K (35.4 AP) (no extra data). It also matches the state of the art specialized semantic segmentation models on ADE20K (58.1 mIoU), and ranks second on Cityscapes (84.5 mIoU) (no extra data).