arXiv reaDer
RIN:単一の画像によるテクスチャ化された人間モデルの回復と模倣
RIN: Textured Human Model Recovery and Imitation with a Single Image
人間の模倣は、人間のポーズと身体の内容を解きほぐすGANの能力によって推進され、最近話題になっています。しかし、最新の手法では3D情報に焦点を当てることはほとんどなく、自己閉塞を回避するために、大量の入力画像が必要になります。本論文では、単一の画像からテクスチャ3Dモデルを再構築し、生成されたモデルで被写体を模倣するための新しいボリュームベースのフレームワークであるRINを提案します。具体的には、人間の質感の大部分を推定するために、U-Netのような前面から背面への変換ネットワークを提案します。前面と背面の両方の画像を入力することで、テクスチャボリュームリカバリモジュールを使用して、ボリュームのある人間に色を付けることができます。次に、一連の3Dポーズが、ボリュームからボリュームへの変換タスクとして、Flowable DisentangleNetworksを介してカラーボリュームをガイドします。トレーニング中にボリュームを2D平面に投影するために、微分可能な深度認識レンダラーを設計します。私たちの実験は、ボリュームベースのモデルが人間の模倣に適していることを示しており、ネットワークを使用して背面図を確実に推定できます。 2Dポーズまたはセマンティックマップのいずれかに基づく以前の作品は、人間の不安定な外観のために失敗することがよくありますが、私たちのフレームワークは、マルチビュー入力から想像されるものと競争力のある具体的な結果を生成できます。
Human imitation has become topical recently, driven by GAN's ability to disentangle human pose and body content. However, the latest methods hardly focus on 3D information, and to avoid self-occlusion, a massive amount of input images are needed. In this paper, we propose RIN, a novel volume-based framework for reconstructing a textured 3D model from a single picture and imitating a subject with the generated model. Specifically, to estimate most of the human texture, we propose a U-Net-like front-to-back translation network. With both front and back images input, the textured volume recovery module allows us to color a volumetric human. A sequence of 3D poses then guides the colored volume via Flowable Disentangle Networks as a volume-to-volume translation task. To project volumes to a 2D plane during training, we design a differentiable depth-aware renderer. Our experiments demonstrate that our volume-based model is adequate for human imitation, and the back view can be estimated reliably using our network. While prior works based on either 2D pose or semantic map often fail for the unstable appearance of a human, our framework can still produce concrete results, which are competitive to those imagined from multi-view input.
updated: Sat Aug 14 2021 12:19:46 GMT+0000 (UTC)
published: Tue Nov 24 2020 11:04:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト