arXiv reaDer
ビデオベースの人物再識別のための時空間補完学習を備えた深結合畳み込み変換器
Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification
高度なディープ畳み込みニューラル ネットワーク (CNN) は、ビデオベースの人物再識別 (Re-ID) で大きな成功を収めています。ただし、彼らは通常、グローバルな表現能力が限られている人の最も明白な領域に焦点を当てています.最近では、トランスフォーマーがパフォーマンスの改善のためにグローバルな観測を使用してパッチ間の関係を調査していることが目撃されています。この作業では、両方の側面を取り、高性能のビデオベースの人物再 ID のための Deeply-Coupled Convolution-Transformer (DCCT) という名前の新しい時空間補完学習フレームワークを提案します。まず、CNN と Transformer を結合して 2 種類の視覚的特徴を抽出し、それらの相補性を実験的に検証します。さらに、空間では、結合された構造を利用し、空間補完学習のための独立した機能をガイドするために、補完コンテンツアテンション(CCA)を提案します。時間的には、フレーム間の依存関係を段階的に取得し、時間情報をエンコードするために、階層時間集約 (HTA) が提案されています。さらに、ゲーテッド アテンションを利用して、集約された時間情報を CNN および Transformer ブランチに配信し、時間補完学習を行います。最後に、自己蒸留トレーニング戦略を導入して、優れた時空間知識をバックボーン ネットワークに転送し、より高い精度と効率を実現します。このように、同じビデオの 2 種類の典型的な機能が機械的に統合され、より有益な表現が得られます。 4 つの公開 Re-ID ベンチマークでの広範な実験により、私たちのフレームワークがほとんどの最先端の方法よりも優れたパフォーマンスを達成できることが示されました。
Advanced deep Convolutional Neural Networks (CNNs) have shown great success in video-based person Re-Identification (Re-ID). However, they usually focus on the most obvious regions of persons with a limited global representation ability. Recently, it witnesses that Transformers explore the inter-patch relations with global observations for performance improvements. In this work, we take both sides and propose a novel spatial-temporal complementary learning framework named Deeply-Coupled Convolution-Transformer (DCCT) for high-performance video-based person Re-ID. Firstly, we couple CNNs and Transformers to extract two kinds of visual features and experimentally verify their complementarity. Further, in spatial, we propose a Complementary Content Attention (CCA) to take advantages of the coupled structure and guide independent features for spatial complementary learning. In temporal, a Hierarchical Temporal Aggregation (HTA) is proposed to progressively capture the inter-frame dependencies and encode temporal information. Besides, a gated attention is utilized to deliver aggregated temporal information into the CNN and Transformer branches for temporal complementary learning. Finally, we introduce a self-distillation training strategy to transfer the superior spatial-temporal knowledge to backbone networks for higher accuracy and more efficiency. In this way, two kinds of typical features from same videos are integrated mechanically for more informative representations. Extensive experiments on four public Re-ID benchmarks demonstrate that our framework could attain better performances than most state-of-the-art methods.
updated: Thu Apr 27 2023 12:16:44 GMT+0000 (UTC)
published: Thu Apr 27 2023 12:16:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト