サブカテゴリからオブジェクトを認識することを目的としたきめ細かい視覚的分類(FGVC)は、本質的に微妙なクラス間の違いのため、非常に困難な作業です。最近の研究は主に、最も識別力のある画像領域を特定し、それらに依存して微妙な分散をキャプチャするネットワークの機能を向上させる方法に焦点を当てることによって、この問題に取り組んでいます。これらの作業のほとんどは、バックボーンネットワークを再利用して、選択した領域の特徴を抽出することでこれを実現します。ただし、この戦略は必然的にパイプラインを複雑にし、提案された領域にオブジェクトのほとんどの部分を含めるようにプッシュします。最近、ビジョントランスフォーマー(ViT)は、従来の分類タスクでその強力なパフォーマンスを示しています。トランスフォーマーの自己注意メカニズムは、すべてのパッチトークンを分類トークンにリンクします。アテンションリンクの強さは、トークンの重要性の指標として直感的に考えることができます。この作業では、トランスフォーマーのすべての生のアテンションウェイトをアテンションマップに統合して、ネットワークが識別可能な画像パッチを効果的かつ正確に選択し、それらの関係を計算するようにガイドする、新しいトランスフォーマーベースのフレームワークTransFGを提案します。同様のサブクラスの特徴表現間の距離をさらに拡大するために、対照的な損失が適用されます。 TransFGの価値を実証するために、CUB-200-2011、Stanford Cars、Stanford Dogs、NABirds、iNat2017の5つの人気のあるベンチマークで実験を行い、最先端のパフォーマンスを実現しています。モデルをよりよく理解するために、定性的な結果が示されています。
Fine-grained visual classification (FGVC) which aims at recognizing objects from subcategories is a very challenging task due to the inherently subtle inter-class differences. Recent works mainly tackle this problem by focusing on how to locate the most discriminative image regions and rely on them to improve the capability of networks to capture subtle variances. Most of these works achieve this by re-using the backbone network to extract features of selected regions. However, this strategy inevitably complicates the pipeline and pushes the proposed regions to contain most parts of the objects. Recently, vision transformer (ViT) shows its strong performance in the traditional classification task. The self-attention mechanism of the transformer links every patch token to the classification token. The strength of the attention link can be intuitively considered as an indicator of the importance of tokens. In this work, we propose a novel transformer-based framework TransFG where we integrate all raw attention weights of the transformer into an attention map for guiding the network to effectively and accurately select discriminative image patches and compute their relations. A contrastive loss is applied to further enlarge the distance between feature representations of similar sub-classes. We demonstrate the value of TransFG by conducting experiments on five popular fine-grained benchmarks: CUB-200-2011, Stanford Cars, Stanford Dogs, NABirds and iNat2017 where we achieve state-of-the-art performance. Qualitative results are presented for better understanding of our model.