arXiv reaDer
LightTrack: オンライン・トップダウン・ヒューマン・ポーズ・トラッキングのための一般的なフレームワーク
LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
本論文では、オンラインでの人間のポーズ追跡のために、LightTrackと呼ばれる新しい効果的な軽量フレームワークを提案する。提案するフレームワークは、トップダウン型のポーズトラッキングのために汎用的に設計されており、既存のオンラインおよびオフラインの手法よりも高速である。一人用ポーズトラッキング(SPT)と視覚オブジェクトトラッキング(VOT)は一つの統一された機能エンティティに組み込まれており、置き換え可能な一人用ポーズ推定モジュールによって容易に実装されている。我々のフレームワークは、一人ポーズトラッキングと複数人のアイデンティティアソシエーションを統合し、キーポイントトラッキングとオブジェクトトラッキングの架け橋となることに初めて光を当てる。また、我々は、ポーズ追跡システムのRe-IDモジュールとして、人間のポーズマッチングのためのシャムグラフ畳み込みネットワーク(Siamese Graph Convolution Network; SGCN)を提案している。他のRe-IDモジュールとは異なり、マッチングには人間の関節のグラフィカルな表現を使用する。スケルトンベースの表現は、人間のポーズの類似性を効果的にキャプチャし、計算量も少なくて済む。また、人間のドリフトを導入する突然のカメラシフトにもロバストである。我々の知る限りでは、本論文はトップダウン型のオンライン人間ポーズトラッキングフレームワークを提案した最初の論文である。提案されたフレームワークは、他のポーズ推定器や候補マッチングメカニズムに適合するのに十分な一般的なものである。我々の手法は、高いフレームレートを維持しながら、他のオンライン手法を凌駕し、我々のオフラインの最先端技術と非常に競争力がある。コードは で公開している。
In this paper, we propose a novel effective light-weight framework, called LightTrack, for online human pose tracking. The proposed framework is designed to be generic for top-down pose tracking and is faster than existing online and offline methods. Single-person Pose Tracking (SPT) and Visual Object Tracking (VOT) are incorporated into one unified functioning entity, easily implemented by a replaceable single-person pose estimation module. Our framework unifies single-person pose tracking with multi-person identity association and sheds first light upon bridging keypoint tracking with object tracking. We also propose a Siamese Graph Convolution Network (SGCN) for human pose matching as a Re-ID module in our pose tracking system. In contrary to other Re-ID modules, we use a graphical representation of human joints for matching. The skeleton-based representation effectively captures human pose similarity and is computationally inexpensive. It is robust to sudden camera shift that introduces human drifting. To the best of our knowledge, this is the first paper to propose an online human pose tracking framework in a top-down fashion. The proposed framework is general enough to fit other pose estimators and candidate matching mechanisms. Our method outperforms other online methods while maintaining a much higher frame rate, and is very competitive with our offline state-of-the-art. We make the code publicly available at:
updated: Tue May 07 2019 22:02:00 GMT+0000 (UTC)
published: Tue May 07 2019 22:02:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト