arXiv reaDer
Text2Tex: 拡散モデルによるテキスト主導のテクスチャ合成
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
与えられたテキスト プロンプトから 3D メッシュ用の高品質のテクスチャを生成する新しい方法である Text2Tex を紹介します。私たちの方法は、事前にトレーニングされた深度認識画像拡散モデルに修復を組み込み、複数の視点から高解像度の部分テクスチャを徐々に合成します。ビュー全体で一貫性のない、引き伸ばされたアーティファクトの蓄積を避けるために、レンダリングされたビューを生成マスクに動的にセグメント化します。これは、表示されている各テクセルの生成ステータスを表します。この分割されたビュー表現は、深度を認識する修復モデルを導き、対応する領域の部分的なテクスチャを生成および更新します。さらに、部分テクスチャを更新するための次善のビューを決定する自動ビュー シーケンス生成スキームを提案します。広範な実験により、私たちの方法が既存のテキスト駆動型アプローチやGANベースの方法よりも大幅に優れていることが示されています。
We present Text2Tex, a novel method for generating high-quality textures for 3D meshes from the given text prompts. Our method incorporates inpainting into a pre-trained depth-aware image diffusion model to progressively synthesize high resolution partial textures from multiple viewpoints. To avoid accumulating inconsistent and stretched artifacts across views, we dynamically segment the rendered view into a generation mask, which represents the generation status of each visible texel. This partitioned view representation guides the depth-aware inpainting model to generate and update partial textures for the corresponding regions. Furthermore, we propose an automatic view sequence generation scheme to determine the next best view for updating the partial texture. Extensive experiments demonstrate that our method significantly outperforms the existing text-driven approaches and GAN-based methods.
updated: Mon Mar 20 2023 19:02:13 GMT+0000 (UTC)
published: Mon Mar 20 2023 19:02:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト