データ混合拡張法は、深層モデルの学習に有効であることが証明されている。最近の手法では、主に画像の画素の混合割合に基づいてラベルを混合する。細かい粒度の画像の主な識別情報は通常、微妙な領域に存在するため、このような手法では、細かい粒度の認識においてラベルノイズが大きくなる傾向がある。本論文では、Semantically Proportional Mixing (SnapMix)と呼ばれる新しいスキームを提案する。これは、クラス活性化マップ(CAM)を利用して細粒度データを補完する際のラベルノイズを軽減するものである。SnapMixは、混合画像の本質的な意味的構成を推定することで、混合画像のターゲットラベルを生成し、非対称な混合操作を可能にし、合成画像とターゲットラベルの間の意味的対応を保証する。実験の結果、我々の手法は、様々なデータセットおよび異なるネットワークの深さの下で、一貫して既存の混合ベースのアプローチよりも優れていることが示された。さらに、中間レベルの特徴を組み込むことで、提案するSnapMixはトップレベルの性能を達成し、きめ細かい認識のための強固なベースラインとして機能する可能性があることを示している。我々のコードは、https://github.com/Shaoli-Huang/SnapMix.git で入手可能。
Data mixing augmentation has proved effective in training deep models. Recent methods mix labels mainly based on the mixture proportion of image pixels. As the main discriminative information of a fine-grained image usually resides in subtle regions, methods along this line are prone to heavy label noise in fine-grained recognition. We propose in this paper a novel scheme, termed as Semantically Proportional Mixing (SnapMix), which exploits class activation map (CAM) to lessen the label noise in augmenting fine-grained data. SnapMix generates the target label for a mixed image by estimating its intrinsic semantic composition, and allows for asymmetric mixing operations and ensures semantic correspondence between synthetic images and target labels. Experiments show that our method consistently outperforms existing mixed-based approaches on various datasets and under different network depths. Furthermore, by incorporating the mid-level features, the proposed SnapMix achieves top-level performance, demonstrating its potential to serve as a solid baseline for fine-grained recognition. Our code is available at https://github.com/Shaoli-Huang/SnapMix.git.