arXiv reaDer
ShaDDR: 3D 形状の詳細化と微分可能レンダリングによるリアルタイムのサンプルベースのジオメトリとテクスチャ生成
ShaDDR: Real-Time Example-Based Geometry and Texture Generation via 3D Shape Detailization and Differentiable Rendering
ShaDDR は、入力された粗いボクセル形状に適用されるジオメトリの詳細化と条件付きテクスチャ生成を通じて、高解像度のテクスチャ付き 3D 形状を生成する、サンプルベースのディープ生成ニューラル ネットワークです。詳細でテクスチャ付きの見本形状の小さなセットでトレーニングされたこのメソッドは、多重解像度ボクセル アップサンプリングを介してジオメトリを詳細化し、いくつかのビューからの見本テクスチャ イメージに対する微分可能レンダリングを介してボクセル表面にテクスチャを生成することを学習します。生成はリアルタイムで行われ、最大 512^3 のボクセル解像度の 3D モデルの生成にかかる時間は 1 秒未満です。生成された形状は、入力の粗いボクセル モデルの全体的な構造を保存しますが、生成された幾何学的詳細とテクスチャのスタイルは、学習された潜在コードを通じて操作できます。実験では、私たちの方法が、以前の研究と比較して、もっともらしく改善された幾何学的詳細ときれいなテクスチャを備えた高解像度の形状を生成できることを示しました。さらに、実世界の写真から再構成された形状から幾何学的詳細とテクスチャを学習するこの方法の機能を紹介します。さらに、さまざまなユーザー入力に対するこの方法の一般化可能性とそれが提供する制御性を実証するためのインタラクティブなモデリング アプリケーションを開発しました。これにより、ユーザーは粗いボクセル形状をインタラクティブに彫刻して、詳細な 3D 形状の全体的な構造を定義できます。
We present ShaDDR, an example-based deep generative neural network which produces a high-resolution textured 3D shape through geometry detailization and conditional texture generation applied to an input coarse voxel shape. Trained on a small set of detailed and textured exemplar shapes, our method learns to detailize the geometry via multi-resolution voxel upsampling and generate textures on voxel surfaces via differentiable rendering against exemplar texture images from a few views. The generation is real-time, taking less than 1 second to produce a 3D model with voxel resolutions up to 512^3. The generated shape preserves the overall structure of the input coarse voxel model, while the style of the generated geometric details and textures can be manipulated through learned latent codes. In the experiments, we show that our method can generate higher-resolution shapes with plausible and improved geometric details and clean textures compared to prior works. Furthermore, we showcase the ability of our method to learn geometric details and textures from shapes reconstructed from real-world photos. In addition, we have developed an interactive modeling application to demonstrate the generalizability of our method to various user inputs and the controllability it offers, allowing users to interactively sculpt a coarse voxel shape to define the overall structure of the detailized 3D shape.
updated: Thu Jun 08 2023 02:35:30 GMT+0000 (UTC)
published: Thu Jun 08 2023 02:35:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト