この論文では、マルチビュー画像とシングルビュー画像の両方から高品質のテクスチャ3Dモデルを再構築する方法を紹介します。再構成は適応問題として提起され、段階的に実行されます。最初の段階では正確なジオメトリの学習に焦点を合わせ、2番目の段階では生成的敵対的ネットワークを使用したテクスチャの学習に焦点を合わせます。生成的学習パイプラインでは、2つの改善を提案します。まず、学習したテクスチャは空間的に整列している必要があるため、ピクセルの学習可能な位置に依存する注意メカニズムを提案します。次に、ディスクリミネーターは整列されたテクスチャマップを受信するため、ジェネレーターへのフィードバックを改善する学習可能な埋め込みで入力を拡張します。三脚データセットのマルチビューシーケンスと、シングルビュー画像データセットのPascal3D+およびCUBで大幅な改善を実現しました。私たちの方法が以前の作品と比較して優れた3Dテクスチャモデルを実現することを示します。 3Dビジュアルについては、当社のWebページをご覧ください。
This paper presents a method to reconstruct high-quality textured 3D models from both multi-view and single-view images. The reconstruction is posed as an adaptation problem and is done progressively where in the first stage, we focus on learning accurate geometry, whereas in the second stage, we focus on learning the texture with a generative adversarial network. In the generative learning pipeline, we propose two improvements. First, since the learned textures should be spatially aligned, we propose an attention mechanism that relies on the learnable positions of pixels. Secondly, since discriminator receives aligned texture maps, we augment its input with a learnable embedding which improves the feedback to the generator. We achieve significant improvements on multi-view sequences from Tripod dataset as well as on single-view image datasets, Pascal 3D+ and CUB. We demonstrate that our method achieves superior 3D textured models compared to the previous works. Please visit our web-page for 3D visuals.