arXiv reaDer
通信不要のオンライン ヒューマン モーション リターゲティング
Correspondence-free online human motion retargeting
ソースモーションでターゲットボディ形状をアニメーション化する、教師なしの人間のモーションリターゲティングのための新しいデータ駆動型フレームワークを提示します。これにより、ターゲット サブジェクトをソース サブジェクトのモーションでアニメートすることにより、異なるキャラクター間のモーションをリターゲットできます。すなわち、ソース形状とターゲット形状との間の空間的対応も、ソースモーションの異なるフレーム間の時間的対応も必要としない。私たちが提案する方法は、おそらく4D取得プラットフォームまたは消費者向けデバイスを使用してキャプチャされた、モーション中の人間の任意のシーケンスでターゲット形状を直接アニメーション化します。私たちのフレームワークは、表面の詳細を考慮しながら、リターゲティング中に 1 秒間の長期的な時間的コンテキストを考慮に入れます。これを実現するために、既存の 2 つの作業から着想を得ています。1 つは表面の詳細を犠牲にして長期的な時間的コンテキストを活用する骨格モーション リターゲット、もう 1 つは長期的な時間的コンテキストを考慮せずに表面の詳細を保持する表面ベースのリターゲットです。学習したスキニング フィールドと骨格のリターゲット アプローチを組み合わせることで、これらの作品の利点を統合します。推論中、私たちの方法はオンラインで実行されます。つまり、入力は連続して処理でき、再ターゲットはフレームごとに 1 回のフォワード パスで実行されます。実験では、トレーニング中に長期的な時間的コンテキストを含めると、再ターゲットされた骨格の動きと詳細の保存の両方の点で、メソッドの精度が向上することが示されています。さらに、私たちの方法は、観測されていない動きや体の形についても一般化されています。提案されたフレームワークが 2 つのテスト データセットで最先端の結果を達成することを示します。
We present a novel data-driven framework for unsupervised human motion retargeting which animates a target body shape with a source motion. This allows to retarget motions between different characters by animating a target subject with a motion of a source subject. Our method is correspondence-free,~i.e. neither spatial correspondences between the source and target shapes nor temporal correspondences between different frames of the source motion are required. Our proposed method directly animates a target shape with arbitrary sequences of humans in motion, possibly captured using 4D acquisition platforms or consumer devices. Our framework takes into account long-term temporal context of 1 second during retargeting while accounting for surface details. To achieve this, we take inspiration from two lines of existing work: skeletal motion retargeting, which leverages long-term temporal context at the cost of surface detail, and surface-based retargeting, which preserves surface details without considering long-term temporal context. We unify the advantages of these works by combining a learnt skinning field with a skeletal retargeting approach. During inference, our method runs online,~i.e. the input can be processed in a serial way, and retargeting is performed in a single forward pass per frame. Experiments show that including long-term temporal context during training improves the method's accuracy both in terms of the retargeted skeletal motion and the detail preservation. Furthermore, our method generalizes well on unobserved motions and body shapes. We demonstrate that the proposed framework achieves state-of-the-art results on two test datasets.
updated: Wed Feb 01 2023 16:23:21 GMT+0000 (UTC)
published: Wed Feb 01 2023 16:23:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト