arXiv reaDer
MotionBERT: 人間の動作分析のための統合された事前トレーニング
MotionBERT: Unified Pretraining for Human Motion Analysis
統合された事前トレーニング フレームワークである MotionBERT を提示して、3D ポーズ推定、スケルトン ベースの動作認識、メッシュ リカバリなど、人間の動作分析のさまざまなサブタスクに取り組みます。提案されたフレームワークは、モーション キャプチャ データや野生のビデオなど、あらゆる種類の人間のモーション データ リソースを利用することができます。プレテキスト タスクでは、モーション エンコーダーがノイズの多い部分的な 2D 観測から基になる 3D モーションを復元する必要があります。したがって、事前トレーニングされたモーション表現は、人間のモーションに関する幾何学的、運動学的、および物理的な知識を取得するため、複数のダウンストリーム タスクに簡単に転送できます。新しいデュアル ストリーム時空間トランスフォーマー (DSTformer) ニューラル ネットワークを使用してモーション エンコーダーを実装します。骨格関節間の長期の時空間関係を包括的かつ適応的にキャプチャできます。これは、ゼロからトレーニングした場合、これまでで最も低い 3D 姿勢推定エラーによって実証されています。さらに重要なことに、提案されたフレームワークは、事前トレーニング済みのモーション エンコーダーを 1 ~ 2 の線形レイヤーで微調整するだけで、3 つのダウンストリーム タスクすべてで最先端のパフォーマンスを実現します。これは、学習したモーション表現の汎用性を示しています。
We present MotionBERT, a unified pretraining framework, to tackle different sub-tasks of human motion analysis including 3D pose estimation, skeleton-based action recognition, and mesh recovery. The proposed framework is capable of utilizing all kinds of human motion data resources, including motion capture data and in-the-wild videos. During pretraining, the pretext task requires the motion encoder to recover the underlying 3D motion from noisy partial 2D observations. The pretrained motion representation thus acquires geometric, kinematic, and physical knowledge about human motion and therefore can be easily transferred to multiple downstream tasks. We implement the motion encoder with a novel Dual-stream Spatio-temporal Transformer (DSTformer) neural network. It could capture long-range spatio-temporal relationships among the skeletal joints comprehensively and adaptively, exemplified by the lowest 3D pose estimation error so far when trained from scratch. More importantly, the proposed framework achieves state-of-the-art performance on all three downstream tasks by simply finetuning the pretrained motion encoder with 1-2 linear layers, which demonstrates the versatility of the learned motion representations.
updated: Wed Oct 12 2022 19:46:25 GMT+0000 (UTC)
published: Wed Oct 12 2022 19:46:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト