ゆったりとした衣服の時間的にコヒーレントなUV座標を生成するための新しいアプローチを提案します。私たちの方法は、人体の輪郭に制約されず、ゆるい衣服や髪の毛を捉えることができます。微分可能なパイプラインを実装して、一連のRGB入力とUV座標を介したテクスチャ間のUVマッピングを学習しました。各フレームのUV座標を個別に処理する代わりに、データ生成アプローチでは、時間的安定性のためにフィーチャマッチングを介してすべてのUV座標を接続します。続いて、生成モデルは、空間品質と時間的安定性のバランスをとるようにトレーニングされます。これは、UV空間と画像空間の両方での監視あり損失と監視なし損失によって引き起こされます。私たちの実験は、訓練されたモデルが高品質のUV座標を出力し、新しいポーズに一般化することを示しています。モデルによって一連のUV座標が推測されると、それを使用して、新しい外観や変更された視覚スタイルを柔軟に合成できます。既存の方法と比較して、私たちのアプローチは、新しい衣装を数桁アニメーション化するための計算ワークロードを削減します。
We propose a novel approach to generate temporally coherent UV coordinates for loose clothing. Our method is not constrained by human body outlines and can capture loose garments and hair. We implemented a differentiable pipeline to learn UV mapping between a sequence of RGB inputs and textures via UV coordinates. Instead of treating the UV coordinates of each frame separately, our data generation approach connects all UV coordinates via feature matching for temporal stability. Subsequently, a generative model is trained to balance the spatial quality and temporal stability. It is driven by supervised and unsupervised losses in both UV and image spaces. Our experiments show that the trained models output high-quality UV coordinates and generalize to new poses. Once a sequence of UV coordinates has been inferred by our model, it can be used to flexibly synthesize new looks and modified visual styles. Compared to existing methods, our approach reduces the computational workload to animate new outfits by several orders of magnitude.