arXiv reaDer
単一画像からの教師なしスタイルベースの明示的な 3D 顔再構成
Unsupervised Style-based Explicit 3D Face Reconstruction from Single Image
単一の画像から 3D オブジェクト構造を推測することは、深度のあいまいさとオクルージョンのために不適切なタスクです。文献の典型的な解決策には、教師あり学習のための 2D または 3D グラウンド トゥルースの活用、手作りの対称事前確率の課すこと、または教師なしメソッドの新しい視点を幻覚させるための暗黙的な表現の使用が含まれます。この作業では、Unsupervised 2D to Explicit 3D Style Transfer (UE3DST) を解決するための一般的な敵対的学習フレームワークを提案します。具体的には、Wu らの教師なし明示的 3D 再構成ネットワークと、StarGAN-v2 という名前の Generative Adversarial Network (GAN) の 2 つのアーキテクチャをマージします。 3 つの顔データセット (Basel Face Model、3DFAW、および CelebA-HQ) で実験を行い、3D 再構成の DepthNet や条件付きスタイル転送の Pix2NeRF などの確立されたソリューションよりも優れたパフォーマンスを発揮できることを示します。アブレーションによるモデルコンポーネント。前述のベースラインとは対照的に、私たちのスキームは明示的な 3D レンダリングの機能を生成します。これは、下流のタスクで操作および利用できます。
Inferring 3D object structures from a single image is an ill-posed task due to depth ambiguity and occlusion. Typical resolutions in the literature include leveraging 2D or 3D ground truth for supervised learning, as well as imposing hand-crafted symmetry priors or using an implicit representation to hallucinate novel viewpoints for unsupervised methods. In this work, we propose a general adversarial learning framework for solving Unsupervised 2D to Explicit 3D Style Transfer (UE3DST). Specifically, we merge two architectures: the unsupervised explicit 3D reconstruction network of Wu et al.\ and the Generative Adversarial Network (GAN) named StarGAN-v2. We experiment across three facial datasets (Basel Face Model, 3DFAW and CelebA-HQ) and show that our solution is able to outperform well established solutions such as DepthNet in 3D reconstruction and Pix2NeRF in conditional style transfer, while we also justify the individual contributions of our model components via ablation. In contrast to the aforementioned baselines, our scheme produces features for explicit 3D rendering, which can be manipulated and utilized in downstream tasks.
updated: Mon Apr 24 2023 21:25:06 GMT+0000 (UTC)
published: Mon Apr 24 2023 21:25:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト