arXiv reaDer
EgoReID Dataset: Person Re-identification in Videos Acquired by Mobile Devices with First-Person Point-of-View
  近年、ビデオベースの個人の再識別(ReID)メソッドのパフォーマンスが大幅に改善されています。ただし、この分野の作業のほとんどは、より広い視野の固定カメラで取得したビデオを扱っています。最近、ウェアラブルカメラや携帯電話などの記録デバイスの普及により、一人称視点(POV)ビデオ(エゴセントリックビデオ)の興味深い研究への扉が開かれました。それにもかかわらず、そのようなビデオの分析は、エゴモーション、ぼやけ、照明条件の深刻な変化、遠近感の歪みによるビデオ品質の低下などの要因により困難です。これらの課題を克服するための研究を促進するために、このペーパーではEgoReIDと呼ばれる新しいデータセットを提供します。データセットは、オーバーラップしない視野を持つ3つのモバイル携帯電話を使用してキャプチャされます。 900個のIDと約10,200個のトラックが含まれ、合計176,000個の検出が含まれます。データセットには、12センサーのメタデータも含まれます。各ビデオのカメラの向きのピッチと回転。さらに、Person ReIDを正常に実行するために、視覚データとセンサーメタデータの両方を活用する新しいフレームワークを提案します。 10個のデータセットでトレーニングされた人体解析を使用する画像ベースのre-IDメソッドを、ビデオベースのre-IDに拡張します。この方法では、最初にフレームレベルのローカルフィーチャが各セマンティック領域に対して抽出され、次に3Dコンボリューションがセマンティック領域の各シーケンスの時間情報をエンコードするために適用されます。さらに、センサーメタデータを使用してターゲットの次のカメラと推定到着時間を予測します。これにより、検索スペースが大幅に削減されるため、ReIDのパフォーマンスが大幅に向上します。
In recent years, we have seen the performance of video-based person Re-Identification (ReID) methods have improved considerably. However, most of the work in this area has dealt with videos acquired by fixed cameras with wider field of view. Recently, widespread use of wearable cameras and recording devices such as cellphones have opened the door to interesting research in first-person Point-of-view (POV) videos (egocentric videos). Nonetheless, analysis of such videos is challenging due to factors such as poor video quality due to ego-motion, blurriness, severe changes in lighting conditions and perspective distortions. To facilitate the research towards conquering these challenges, this paper contributes a new dataset called EgoReID. The dataset is captured using 3 mobile cellphones with non-overlapping field-of-view. It contains 900 IDs and around 10,200 tracks with a total of 176,000 detections. The dataset also contains 12-sensor meta data e.g. camera orientation pitch and rotation for each video. In addition, we propose a new framework which takes advantage of both visual and sensor meta data to successfully perform Person ReID. We extend image-based re-ID method employing human body parsing trained on ten datasets to video-based re-ID. In our method, first frame level local features are extracted for each semantic region, then 3D convolutions are applied to encode the temporal information in each sequence of semantic regions. Additionally, we employ sensor meta data to predict targets' next camera and their estimated time of arrival, which considerably improves our ReID performance as it significantly reduces our search space.
updated: Thu Sep 05 2019 21:28:51 GMT+0000 (UTC)
published: Sat Dec 22 2018 17:32:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト