arXiv reaDer
3DStyleNet:幾何学的およびテクスチャスタイルのバリエーションを持つ3D形状の作成
3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations
3Dコンテンツの作成を民主化するために、3Dオブジェクトのもっともらしい幾何学的およびテクスチャスタイルのバリエーションを作成する方法を提案します。テクスチャソースとターゲットオブジェクトのペアが与えられた場合、このメソッドは、ターゲットの全体的な幾何学的スタイルを模倣するためにソース形状を自然にワープするパーツ認識アフィン変換フィールドを予測します。さらに、ターゲットのテクスチャスタイルは、マルチビューの微分可能なレンダラーを使用して、ワープされたソースオブジェクトに転送されます。私たちのモデルである3DStyleNetは、2段階でトレーニングされた2つのサブネットワークで構成されています。まず、幾何学的スタイルのネットワークは、テクスチャのない3D形状の大規模なセットでトレーニングされます。次に、ジオメトリと結果のレンダリングの両方で損失が定義された、ジオメトリックスタイルネットワークと事前トレーニング済みの画像スタイル転送ネットワークを共同で最適化します。高品質のテクスチャオブジェクトの小さなセットが与えられると、私たちの方法は多くの斬新な様式化された形状を作成でき、その結果、3Dコンテンツの作成とスタイルウェアデータの拡張が簡単になります。 3Dコンテンツのスタイル設定に関するアプローチを定性的に紹介し、結果の品質を検証するためのユーザー調査を提供します。さらに、私たちの方法は、コンピュータービジョンタスク用の3Dデータ拡張を作成するための貴重なツールとして役立ちます。広範な定量分析は、3DStyleNetが単一画像3D再構成のダウンストリームタスクの代替データ拡張技術よりも優れていることを示しています。
We propose a method to create plausible geometric and texture style variations of 3D objects in the quest to democratize 3D content creation. Given a pair of textured source and target objects, our method predicts a part-aware affine transformation field that naturally warps the source shape to imitate the overall geometric style of the target. In addition, the texture style of the target is transferred to the warped source object with the help of a multi-view differentiable renderer. Our model, 3DStyleNet, is composed of two sub-networks trained in two stages. First, the geometric style network is trained on a large set of untextured 3D shapes. Second, we jointly optimize our geometric style network and a pre-trained image style transfer network with losses defined over both the geometry and the rendering of the result. Given a small set of high-quality textured objects, our method can create many novel stylized shapes, resulting in effortless 3D content creation and style-ware data augmentation. We showcase our approach qualitatively on 3D content stylization, and provide user studies to validate the quality of our results. In addition, our method can serve as a valuable tool to create 3D data augmentations for computer vision tasks. Extensive quantitative analysis shows that 3DStyleNet outperforms alternative data augmentation techniques for the downstream task of single-image 3D reconstruction.
updated: Mon Aug 30 2021 02:28:31 GMT+0000 (UTC)
published: Mon Aug 30 2021 02:28:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト