arXiv reaDer
UAV-Human:無人航空機による人間の行動を理解するための大きなベンチマーク
UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles
無人航空機(UAV)を使用した人間の行動の理解は、幅広いアプリケーションにとって非常に重要であり、UAVベースのモデルの開発と評価のための大規模で挑戦的で包括的なベンチマークの緊急の需要を同時にもたらします。ただし、既存のベンチマークには、キャプチャされたデータの量、データモダリティのタイプ、提供されたタスクのカテゴリ、およびサブジェクトと環境の多様性に関して制限があります。ここでは、UAVを使用した人間の行動を理解するための新しいベンチマークUAVHumanを提案します。これには、67,428のマルチモーダルビデオシーケンスと行動認識のための119の主題、ポーズ推定のための22,476フレーム、人の再識別のための41,290フレームと1,144のID、および22,263が含まれます。属性認識のためのフレーム。私たちのデータセットは、3か月にわたって昼間と夜間の両方で、複数の都市部と農村部の飛行UAVによって収集されたため、被写体、背景、照明、天気、オクルージョン、カメラの動き、UAVの飛行姿勢などの幅広い多様性をカバーしています。このような包括的でやりがいのあるベンチマークは、行動認識、ポーズ推定、再識別、属性認識など、UAVベースの人間行動理解の研究を促進することができます。さらに、フラットRGBビデオによって導かれる無制限の変換を学習することにより、魚眼ビデオの歪みを軽減する魚眼ベースの行動認識方法を提案します。実験は、UAV-Humanデータセットに対する私たちの方法の有効性を示しています。プロジェクトページ:https://github.com/SUTDCV/UAV-Human
Human behavior understanding with unmanned aerial vehicles (UAVs) is of great significance for a wide range of applications, which simultaneously brings an urgent demand of large, challenging, and comprehensive benchmarks for the development and evaluation of UAV-based models. However, existing benchmarks have limitations in terms of the amount of captured data, types of data modalities, categories of provided tasks, and diversities of subjects and environments. Here we propose a new benchmark - UAVHuman - for human behavior understanding with UAVs, which contains 67,428 multi-modal video sequences and 119 subjects for action recognition, 22,476 frames for pose estimation, 41,290 frames and 1,144 identities for person re-identification, and 22,263 frames for attribute recognition. Our dataset was collected by a flying UAV in multiple urban and rural districts in both daytime and nighttime over three months, hence covering extensive diversities w.r.t subjects, backgrounds, illuminations, weathers, occlusions, camera motions, and UAV flying attitudes. Such a comprehensive and challenging benchmark shall be able to promote the research of UAV-based human behavior understanding, including action recognition, pose estimation, re-identification, and attribute recognition. Furthermore, we propose a fisheye-based action recognition method that mitigates the distortions in fisheye videos via learning unbounded transformations guided by flat RGB videos. Experiments show the efficacy of our method on the UAV-Human dataset. The project page: https://github.com/SUTDCV/UAV-Human
updated: Sun Aug 15 2021 09:10:15 GMT+0000 (UTC)
published: Fri Apr 02 2021 08:54:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト