トランスフォーマーは、画像をパッチのシーケンスとして扱い、そのシーケンスから堅牢なグローバル機能を学習するコンピュータービジョンでますます人気があります。ただし、適切な車両の再識別方法では、堅牢なグローバル機能と識別可能なローカル機能の両方を考慮する必要があります。本論文では、車両再識別のためのグラフインタラクティブトランスフォーマー(GiT)を提案します。全体として、複数のGiTブロックをスタックして、競争力のある車両再識別モデルを構築します。各GiTブロックは、新しいローカル相関グラフ(LCG)モジュールを使用してパッチ内の識別可能なローカル機能を抽出し、トランスフォーマーレイヤーを使用して堅牢なグローバルを抽出します。パッチ間の機能。詳細には、現在のGiTブロックでは、LCGモジュールは、前のGiTブロックのLCGモジュールとトランスフォーマーレイヤーから生じるローカルおよびグローバル機能からローカル機能を学習します。同様に、トランスフォーマーレイヤーは、前のGiTブロックのトランスフォーマーレイヤーによって生成されたグローバル機能と、現在のGiTブロックのLCGモジュールを介して出力された新しいローカル機能からグローバル機能を学習します。したがって、LCGモジュールとトランス層は結合された状態にあり、ローカル機能とグローバル機能の間に効果的な連携をもたらします。これは、私たちの知る限り、車両の再識別のためにグラフとトランスフォーマーを組み合わせた最初の作業です。 3つの大規模な車両再識別データセットに関する広範な実験は、私たちの方法が最先端のアプローチよりも優れていることを示しています。コードはまもなく利用可能になります。
Transformers are more and more popular in computer vision, which treat an image as a sequence of patches and learn robust global features from the sequence. However, a suitable vehicle re-identification method should consider both robust global features and discriminative local features. In this paper, we propose a graph interactive transformer (GiT) for vehicle re-identification. On the whole, we stack multiple GiT blocks to build a competitive vehicle re-identification model, in where each GiT block employs a novel local correlation graph (LCG) module to extract discriminative local features within patches and uses a transformer layer to extract robust global features among patches. In detail, in the current GiT block, the LCG module learns local features from local and global features resulting from the LCG module and transformer layer of the previous GiT block. Similarly, the transformer layer learns global features from the global features generated by the transformer layer of the previous GiT block and the new local features outputted via the LCG module of the current GiT block. Therefore, LCG modules and transformer layers are in a coupled status, bringing effective cooperation between local and global features. This is the first work to combine graphs and transformers for vehicle re-identification to the best of our knowledge. Extensive experiments on three large-scale vehicle re-identification datasets demonstrate that our method is superior to state-of-the-art approaches. The code will be available soon.