arXiv reaDer
シーケンシャル テストタイム アダプテーションによるオープンワールド ポーズ転送
Open-World Pose Transfer via Sequential Test-Time Adaption
ポーズトランスファーは、与えられた人を特定の姿勢に移すことを目的としており、最近注目されています。典型的なポーズ転送フレームワークは通常、代表的なデータセットを使用して識別モデルをトレーニングしますが、これはしばしば分散外 (OOD) インスタンスによって違反されます。最近、テスト時間適応 (TTA) は、自己監督で重要な機能を学習する事前トレーニング済みのモデルを使用して、OOD データの実行可能なソリューションを提供します。ただし、これらの方法では、すべてのテスト分布が直接学習できる統一された信号を持っているという暗黙の仮定が行われます。オープンワールドの条件では、ポーズ転送タスクはさまざまな独立した信号を発生させます: OOD の外観と骨格は、抽出して専門的に配布する必要があります。この点に対処するために、SEquential Test-time Adaption (SETA) を開発します。テスト時のフレーズでは、SETA は、自己教師トレーニング用の OOD データを拡張することにより、外観テクスチャを抽出して配布します。異なる姿勢間の非ユークリッド類似性を明確にするために、SETA は、類似性の計算に人物再識別 (Re-ID) モデルから派生した画像表現を使用します。テスト時の暗黙的な姿勢表現に順次対処することで、SETA は現在のポーズ転送モデルの一般化パフォーマンスを大幅に向上させます。私たちの実験では、Tiktokの再現や有名人のモーション合成など、オープンワールドのアプリケーションにポーズ転送を適用できることを最初に示しました。
Pose transfer aims to transfer a given person into a specified posture, has recently attracted considerable attention. A typical pose transfer framework usually employs representative datasets to train a discriminative model, which is often violated by out-of-distribution (OOD) instances. Recently, test-time adaption (TTA) offers a feasible solution for OOD data by using a pre-trained model that learns essential features with self-supervision. However, those methods implicitly make an assumption that all test distributions have a unified signal that can be learned directly. In open-world conditions, the pose transfer task raises various independent signals: OOD appearance and skeleton, which need to be extracted and distributed in speciality. To address this point, we develop a SEquential Test-time Adaption (SETA). In the test-time phrase, SETA extracts and distributes external appearance texture by augmenting OOD data for self-supervised training. To make non-Euclidean similarity among different postures explicit, SETA uses the image representations derived from a person re-identification (Re-ID) model for similarity computation. By addressing implicit posture representation in the test-time sequentially, SETA greatly improves the generalization performance of current pose transfer models. In our experiment, we first show that pose transfer can be applied to open-world applications, including Tiktok reenactment and celebrity motion synthesis.
updated: Mon Mar 20 2023 09:01:23 GMT+0000 (UTC)
published: Mon Mar 20 2023 09:01:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト