人間のポーズの転送は、通常、2D画像から画像への変換の問題としてモデル化されています。この定式化は、3D空間での以前の人体の形状を無視し、特に閉塞に直面している場合、必然的に信じられないほどのアーティファクトを引き起こします。この問題に対処するために、3Dメッシュ空間でポーズ転送を実行するためのリフティングアンドプロジェクションフレームワークを提案します。私たちのフレームワークの中核は、フォアグラウンド生成モジュールです。これは、リフティングアンドプロジェクションネットワーク(LPNet)と外観詳細補正ネットワーク(ADCNet)の2つの新しいネットワークで構成されています。 LPNetは、事前に人体の形状を活用するために、ボディメッシュのトポロジ情報を利用して、3Dメッシュ空間で対象者の表現力豊かな視覚的表現を学習します。テクスチャの詳細を保持するために、ADCNetがさらに導入され、LPNetによって生成された機能がソースの前景画像で拡張されます。前景生成モジュールのこのような設計により、モデルは、オクルージョンのあるような困難なケースをより適切に処理できます。 iPERおよびFashionデータセットでの実験は、提案されたリフティングおよびプロジェクションフレームワークが効果的であり、自己転送と相互転送の両方で、人間のポーズ転送タスクに関する既存の画像から画像ベースおよびメッシュベースの方法よりも優れていることを経験的に示しています。設定。
Human pose transfer has typically been modeled as a 2D image-to-image translation problem. This formulation ignores the human body shape prior in 3D space and inevitably causes implausible artifacts, especially when facing occlusion. To address this issue, we propose a lifting-and-projection framework to perform pose transfer in the 3D mesh space. The core of our framework is a foreground generation module, that consists of two novel networks: a lifting-and-projection network (LPNet) and an appearance detail compensating network (ADCNet). To leverage the human body shape prior, LPNet exploits the topological information of the body mesh to learn an expressive visual representation for the target person in the 3D mesh space. To preserve texture details, ADCNet is further introduced to enhance the feature produced by LPNet with the source foreground image. Such design of the foreground generation module enables the model to better handle difficult cases such as those with occlusions. Experiments on the iPER and Fashion datasets empirically demonstrate that the proposed lifting-and-projection framework is effective and outperforms the existing image-to-image-based and mesh-based methods on human pose transfer task in both self-transfer and cross-transfer settings.