arXiv reaDer
PGGANet:個人の再識別のためのポーズガイド付きグラフ注意ネットワーク
PGGANet: Pose Guided Graph Attention Network for Person Re-identification
人物再識別(reID)は、さまざまなカメラで撮影された画像から人物を取得することを目的としています。深層学習ベースのreIDメソッドの場合、ローカル機能をグローバル機能と一緒に使用すると、人物検索の堅牢な表現を提供できることが証明されています。人間のポーズ情報は、人間の骨格の位置を提供して、ネットワークがこれらの重要な領域により多くの注意を払うように効果的に誘導し、背景や閉塞からのノイズの注意散漫を減らすのにも役立ちます。ただし、以前のポーズベースの作品によって提案された方法は、ポーズ情報の利点を十分に活用できない可能性があり、それらのいくつかは、個別のローカル機能のさまざまな貢献を考慮に入れています。本論文では、ポーズ誘導グラフ注意ネットワーク、グローバル機能用の1つのブランチ、ミッドグラニュラーボディ機能用の1つのブランチ、およびファイングラニュラーキーポイント機能用の1つのブランチで構成されるマルチブランチアーキテクチャを提案します。事前にトレーニングされたポーズ推定器を使用して、局所特徴学習のキーポイントヒートマップを生成し、類似関係をモデル化することにより、抽出された局所特徴の寄与重みを再割り当てするグラフ注意畳み込み層を慎重に設計します。実験結果は、識別的特徴学習に対する私たちのアプローチの有効性を示しており、私たちのモデルがいくつかの主流の評価データセットで最先端のパフォーマンスを達成していることを示しています。また、ネットワークの有効性と堅牢性を証明するために、閉塞実験やクロスドメインテストなど、さまざまなアブレーション研究を実施し、さまざまな種類の比較実験を設計しています。
Person re-identification (reID) aims at retrieving a person from images captured by different cameras. For deep-learning-based reID methods, it has been proved that using local features together with global feature could help to give robust representation for person retrieval. Human pose information could provide the locations of human skeleton to effectively guide the network to pay more attention on these key areas and could also help to reduce the noise distractions from background or occlusion. However, methods proposed by previous pose-based works might not be able to fully exploit the benefits of pose information and few of them take into consideration the different contributions of separate local features. In this paper, we propose a pose guided graph attention network, a multi-branch architecture consisting of one branch for global feature, one branch for mid-granular body features and one branch for fine-granular key point features. We use a pre-trained pose estimator to generate the key-point heatmaps for local feature learning and carefully design a graph attention convolution layer to re-assign the contribution weights of extracted local features by modeling the similarities relations. Experiment results demonstrate the effectiveness of our approach on discriminative feature learning and we show that our model achieves state-of-the-art performances on several mainstream evaluation datasets. We also conduct a plenty of ablation studies and design different kinds of comparison experiments for our network to prove its effectiveness and robustness, including occluded experiments and cross-domain tests.
updated: Mon Jan 10 2022 07:04:19 GMT+0000 (UTC)
published: Mon Nov 29 2021 09:47:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト