CharacterGANを紹介します。これは、特定の文字の少数のサンプル(8〜15)でのみトレーニングできる生成モデルです。私たちのモデルは、キーポイントの位置に基づいて斬新なポーズを生成します。これは、インタラクティブなフィードバックを提供しながらリアルタイムで変更できるため、直感的なポーズとアニメーションが可能です。トレーニングサンプルは非常に限られているため、重要な課題の1つは、たとえば手が体の後ろまたは前に移動する場合など、(非)咬合に対処する方法にあります。これに対処するために、入力キーポイントを個別に処理される異なるレイヤーに明示的に分割する新しいレイヤーアプローチを導入します。これらのレイヤーは、キャラクターのさまざまな部分を表し、強い(非)オクルージョンがあっても現実的な結果を得るのに役立つ強力な暗黙のバイアスを提供します。個々のレイヤーの機能を組み合わせるために、すべてのキーポイントを条件とする適応スケーリングアプローチを使用します。最後に、マスク接続制約を導入して、テスト時に極端な分布外ポーズで発生する歪みアーチファクトを低減します。私たちのアプローチが最近のベースラインを上回り、多様なキャラクターのリアルなアニメーションを作成することを示します。また、モデルが離散的な状態変化(たとえば、左向きまたは右向きのプロファイル)を処理できること、異なるレイヤーが実際にそれらのレイヤーのそれぞれのキーポイントに固有の機能を学習すること、およびモデルがより多くのデータがある場合に、より大きなデータセットにスケーリングすることを示します。利用可能です。
We introduce CharacterGAN, a generative model that can be trained on only a few samples (8 - 15) of a given character. Our model generates novel poses based on keypoint locations, which can be modified in real time while providing interactive feedback, allowing for intuitive reposing and animation. Since we only have very limited training samples, one of the key challenges lies in how to address (dis)occlusions, e.g. when a hand moves behind or in front of a body. To address this, we introduce a novel layering approach which explicitly splits the input keypoints into different layers which are processed independently. These layers represent different parts of the character and provide a strong implicit bias that helps to obtain realistic results even with strong (dis)occlusions. To combine the features of individual layers we use an adaptive scaling approach conditioned on all keypoints. Finally, we introduce a mask connectivity constraint to reduce distortion artifacts that occur with extreme out-of-distribution poses at test time. We show that our approach outperforms recent baselines and creates realistic animations for diverse characters. We also show that our model can handle discrete state changes, for example a profile facing left or right, that the different layers do indeed learn features specific for the respective keypoints in those layers, and that our model scales to larger datasets when more data is available.