CutMixは、最新の畳み込みおよびトランスフォーマービジョンネットワークのトレーニングに一般的に使用される一般的な拡張手法です。もともとは、畳み込みニューラルネットワーク(CNN)がローカル情報ではなく、画像のグローバルコンテキストに焦点を当てるように設計されていたため、CNNのパフォーマンスが大幅に向上しました。ただし、当然のことながらグローバルな受容野を持つ変圧器ベースのアーキテクチャでは、メリットが限られていることがわかりました。この論文では、ビジョントランスの性能を改善するための新しいデータ拡張技術TokenMixを提案します。 TokenMixは、ミキシング領域を複数の分離された部分に分割することにより、トークンレベルで2つの画像をミキシングします。さらに、グラウンドトゥルースラベルのペアの線形結合であるCutMixの混合学習ターゲットは、不正確であり、場合によっては直感に反する可能性があることを示します。より適切なターゲットを取得するために、事前にトレーニングされた教師モデルからの2つの画像のコンテンツベースの神経活性化マップに従ってターゲットスコアを割り当てることを提案します。これは、高性能である必要はありません。さまざまなビジョントランスフォーマーアーキテクチャに関する多くの実験により、提案されたTokenMixは、ビジョントランスフォーマーが前景領域に焦点を合わせてクラスを推測し、オクルージョンに対する堅牢性を強化し、一貫したパフォーマンスを向上させるのに役立つことを示します。特に、DeiT-T / S / Bを+1%のImageNetトップ1精度で改善します。さらに、TokenMixはより長いトレーニングを楽しんでおり、400エポックでトレーニングされたDeiT-Sを使用してImageNetで81.2%のトップ1精度を達成しています。コードはhttps://github.com/Sense-X/TokenMixで入手できます。
CutMix is a popular augmentation technique commonly used for training modern convolutional and transformer vision networks. It was originally designed to encourage Convolution Neural Networks (CNNs) to focus more on an image's global context instead of local information, which greatly improves the performance of CNNs. However, we found it to have limited benefits for transformer-based architectures that naturally have a global receptive field. In this paper, we propose a novel data augmentation technique TokenMix to improve the performance of vision transformers. TokenMix mixes two images at token level via partitioning the mixing region into multiple separated parts. Besides, we show that the mixed learning target in CutMix, a linear combination of a pair of the ground truth labels, might be inaccurate and sometimes counter-intuitive. To obtain a more suitable target, we propose to assign the target score according to the content-based neural activation maps of the two images from a pre-trained teacher model, which does not need to have high performance. With plenty of experiments on various vision transformer architectures, we show that our proposed TokenMix helps vision transformers focus on the foreground area to infer the classes and enhances their robustness to occlusion, with consistent performance gains. Notably, we improve DeiT-T/S/B with +1% ImageNet top-1 accuracy. Besides, TokenMix enjoys longer training, which achieves 81.2% top-1 accuracy on ImageNet with DeiT-S trained for 400 epochs. Code is available at https://github.com/Sense-X/TokenMix.