ビジョントランスフォーマーは、さまざまなビジョンタスクで大幅な改善を達成しましたが、トークン間の二次相互作用により、計算効率が大幅に低下します。最近、効率的なビジョントランスフォーマーのために冗長なトークンを削除するために、多くのプルーニング方法が提案されています。ただし、既存の研究は主に、ローカルの注意深いトークンを維持するためのトークンの重要性に焦点を当てていますが、グローバルなトークンの多様性は完全に無視しています。この論文では、多様なグローバルセマンティクスの重要性を強調し、トークンの重要性とトークンの枝刈りのための多様性を一緒に考慮することができる効率的なトークンのデカップリングとマージ方法を提案します。クラス トークンの注意に従って、注意深いトークンと不注意なトークンを分離します。最も差別的なローカル トークンを保持することに加えて、同様の不注意トークンをマージし、均質な注意トークンを照合して、トークンの多様性を最大化します。その単純さにもかかわらず、私たちの方法は、モデルの複雑さと分類精度の間の有望なトレードオフを得ます。 DeiT-S では、私たちの方法は FLOP を 35% 削減し、精度の低下はわずか 0.2% です。特に、トークンの多様性を維持することの恩恵を受けて、私たちの方法は、FLOPを40%削減した後、DeiT-Tの精度を0.1%改善することさえできます.
Vision transformers have achieved significant improvements on various vision tasks but their quadratic interactions between tokens significantly reduce computational efficiency. Many pruning methods have been proposed to remove redundant tokens for efficient vision transformers recently. However, existing studies mainly focus on the token importance to preserve local attentive tokens but completely ignore the global token diversity. In this paper, we emphasize the cruciality of diverse global semantics and propose an efficient token decoupling and merging method that can jointly consider the token importance and diversity for token pruning. According to the class token attention, we decouple the attentive and inattentive tokens. In addition to preserving the most discriminative local tokens, we merge similar inattentive tokens and match homogeneous attentive tokens to maximize the token diversity. Despite its simplicity, our method obtains a promising trade-off between model complexity and classification accuracy. On DeiT-S, our method reduces the FLOPs by 35% with only a 0.2% accuracy drop. Notably, benefiting from maintaining the token diversity, our method can even improve the accuracy of DeiT-T by 0.1% after reducing its FLOPs by 40%.