ビデオ注釈は高価で時間がかかります。その結果、複数人の姿勢推定および追跡用のデータセットは、人間の姿勢推定用の大規模な画像データセットと比較して、それほど多様ではなく、より疎なアノテーションを持っています。これにより、モーションブラーや複数人のポーズトラッキングのタスクのオクルージョンなどの迷惑な要素に対してロバストなフレーム間でキーポイントを関連付けるためのディープラーニングベースのモデルを学習することが難しくなります。この問題に対処するために、ビデオで人物を関連付けるためのキーポイント対応に依存するアプローチを提案します。ビデオデータのキーポイント対応を推定するためにネットワークをトレーニングする代わりに、自己監視を使用した人間の姿勢推定のために大規模な画像データセットでトレーニングされます。人間の姿勢推定のためのトップダウンフレームワークと組み合わせて、キーポイントの対応を使用して、(i)欠落した姿勢検出を回復します(ii)ビデオフレーム全体で姿勢検出を関連付けます。私たちのアプローチは、PosTrack 2017およびPoseTrack 2018データセットでのマルチフレームポーズ推定およびマルチパーソンポーズトラッキングの最先端の結果を実現します。
Video annotation is expensive and time consuming. Consequently, datasets for multi-person pose estimation and tracking are less diverse and have more sparse annotations compared to large scale image datasets for human pose estimation. This makes it challenging to learn deep learning based models for associating keypoints across frames that are robust to nuisance factors such as motion blur and occlusions for the task of multi-person pose tracking. To address this issue, we propose an approach that relies on keypoint correspondences for associating persons in videos. Instead of training the network for estimating keypoint correspondences on video data, it is trained on a large scale image datasets for human pose estimation using self-supervision. Combined with a top-down framework for human pose estimation, we use keypoints correspondences to (i) recover missed pose detections (ii) associate pose detections across video frames. Our approach achieves state-of-the-art results for multi-frame pose estimation and multi-person pose tracking on the PosTrack 2017 and PoseTrack 2018 data sets.