arXiv reaDer
生成的ニューラル関節放射輝度フィールド
Generative Neural Articulated Radiance Fields
シングルビュー2D写真のコレクションのみを使用した、3D対応の生成的敵対的ネットワーク(GAN)の教師なし学習は、ごく最近、大きな進歩を遂げました。ただし、これらの3D GANは人体では実証されておらず、既存のフレームワークで生成された放射輝度フィールドは直接編集できないため、ダウンストリームタスクでの適用が制限されます。正規のポーズで人体または顔の放射輝度フィールドを生成し、明示的な変形フィールドを使用してそれらを目的の体のポーズまたは顔の表情にワープすることを学習する3D GANフレームワークを開発することにより、これらの課題の解決策を提案します。私たちのフレームワークを使用して、人体の最初の高品質な放射輝度フィールド生成結果を示します。さらに、変形を意識したトレーニング手順により、明示的な変形でトレーニングされていない3D GANと比較して、ポーズや顔の表情を編集するときに生成されるボディや顔の品質が大幅に向上することを示します。
Unsupervised learning of 3D-aware generative adversarial networks (GANs) using only collections of single-view 2D photographs has very recently made much progress. These 3D GANs, however, have not been demonstrated for human bodies and the generated radiance fields of existing frameworks are not directly editable, limiting their applicability in downstream tasks. We propose a solution to these challenges by developing a 3D GAN framework that learns to generate radiance fields of human bodies or faces in a canonical pose and warp them using an explicit deformation field into a desired body pose or facial expression. Using our framework, we demonstrate the first high-quality radiance field generation results for human bodies. Moreover, we show that our deformation-aware training procedure significantly improves the quality of generated bodies or faces when editing their poses or facial expressions compared to a 3D GAN that is not trained with explicit deformations.
updated: Tue Jun 28 2022 22:49:42 GMT+0000 (UTC)
published: Tue Jun 28 2022 22:49:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト