ビデオベースの人物再識別(re-ID)は、ビデオクリップ全体で同じ人物を照合することを目的としています。マルチスケールのきめ細かい機能を効率的に活用しながら、それらの間の構造的な相互作用を構築することは、その成功にとって極めて重要です。この論文では、ハイブリッドフレームワークであるDense Interaction Learning(DenseIL)を提案します。これは、CNNベースとアテンションベースの両方のアーキテクチャの主な利点を利用して、ビデオベースの個人の再IDの問題に取り組みます。 DenseILには、CNNエンコーダーとDense Interaction(DI)デコーダーが含まれています。 CNNエンコーダーは、識別可能な空間的特徴を効率的に抽出する役割を果たしますが、DIデコーダーは、フレーム間の時空間固有の相互作用を高密度にモデル化するように設計されています。以前の作品とは異なり、さらにDIデコーダーに中間のきめの細かいCNN機能を密に提供させ、各ビデオクリップのマルチグレインの時空間表現を自然に生成します。さらに、DIデコーダーに時空間位置埋め込み(STEP-Emb)を導入して、時空間入力間の位置関係を調査します。私たちの実験は、複数の標準的なビデオベースのre-IDデータセットで、すべての最先端の方法を一貫して大幅に上回っています。
Video-based person re-identification (re-ID) aims at matching the same person across video clips. Efficiently exploiting multi-scale fine-grained features while building the structural interaction among them is pivotal for its success. In this paper, we propose a hybrid framework, Dense Interaction Learning (DenseIL), that takes the principal advantages of both CNN-based and Attention-based architectures to tackle video-based person re-ID difficulties. DenseIL contains a CNN encoder and a Dense Interaction (DI) decoder. The CNN encoder is responsible for efficiently extracting discriminative spatial features while the DI decoder is designed to densely model spatial-temporal inherent interaction across frames. Different from previous works, we additionally let the DI decoder densely attends to intermediate fine-grained CNN features and that naturally yields multi-grained spatial-temporal representation for each video clip. Moreover, we introduce Spatio-TEmporal Positional Embedding (STEP-Emb) into the DI decoder to investigate the positional relation among the spatial-temporal inputs. Our experiments consistently and significantly outperform all the state-of-the-art methods on multiple standard video-based re-ID datasets.