トランスフォーマーは、視覚的なタスクの処理において大きな進歩を遂げました。ただし、既存のビジョントランスフォーマーには、視覚入力にとって重要な機能がまだありません。さまざまなスケールの機能間で注意を喚起することです。この問題の理由は2つあります。(1)各レイヤーの入力埋め込みは、クロススケール機能なしで等しいスケールです。 (2)一部のビジョントランスフォーマーは、埋め込みの小規模な機能を犠牲にして、自己注意モジュールのコストを削減します。この欠陥を補うために、クロススケール埋め込み層(CEL)と長短距離注意(LSDA)を提案します。特に、CELは、各埋め込みを異なるスケールの複数のパッチとブレンドし、モデルにクロススケールの埋め込みを提供します。 LSDAは、自己注意モジュールを短距離モジュールと長距離モジュールに分割し、コストを削減しますが、埋め込みに小規模機能と大規模機能の両方を維持します。これら2つのデザインを通じて、私たちはクロススケールの注目を集めています。さらに、一般的な相対位置バイアスを可変サイズの画像に適用するために、ビジョントランスの動的位置バイアスを提案します。これらの提案されたモジュールに基づいて、CrossFormerと呼ばれるビジョンアーキテクチャを構築します。実験によると、CrossFormerは、いくつかの代表的な視覚的タスク、特にオブジェクトの検出とセグメンテーションにおいて、他のトランスフォーマーよりも優れています。コードがリリースされました:https://github.com/cheerss/CrossFormer。
Transformers have made much progress in dealing with visual tasks. However, existing vision transformers still do not possess an ability that is important to visual input: building the attention among features of different scales. The reasons for this problem are two-fold: (1) Input embeddings of each layer are equal-scale without cross-scale features; (2) Some vision transformers sacrifice the small-scale features of embeddings to lower the cost of the self-attention module. To make up this defect, we propose Cross-scale Embedding Layer (CEL) and Long Short Distance Attention (LSDA). In particular, CEL blends each embedding with multiple patches of different scales, providing the model with cross-scale embeddings. LSDA splits the self-attention module into a short-distance and long-distance one, also lowering the cost but keeping both small-scale and large-scale features in embeddings. Through these two designs, we achieve cross-scale attention. Besides, we propose dynamic position bias for vision transformers to make the popular relative position bias apply to variable-sized images. Based on these proposed modules, we construct our vision architecture called CrossFormer. Experiments show that CrossFormer outperforms other transformers on several representative visual tasks, especially object detection and segmentation. The code has been released: https://github.com/cheerss/CrossFormer.