arXiv reaDer
DSG-Net:3D形状生成のための解きほぐされた構造と幾何学の学習
DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation
D形状の生成は、コンピュータグラフィックスの基本的な操作です。特に最近の深い生成モデルでは大きな進歩が見られましたが、制御可能な方法で、豊富な幾何学的詳細と複雑な構造を備えた高品質の形状を合成することは依然として課題です。これに取り組むために、3D形状の解きほぐされた構造化および幾何学的メッシュ表現を学習するディープニューラルネットワークであるDSG-Netを紹介します。ここでは、形状、幾何学、構造の2つの重要な側面が相乗的にエンコードされ、可能な限り解きほぐしながら、生成された形状。これは、ジオメトリ(構造)を変更せずに構造(ジオメトリ)の補間など、もつれを解いた制御を備えた一連の新しい形状生成アプリケーションをサポートします。これを実現するために、各レベルで全単射マッピングを使用して、両方の階層的な方法で変分オートエンコーダー(VAE)を介して構造とジオメトリを同時に学習します。このようにして、互換性を確保しながら、ジオメトリと構造を別々の潜在空間に効果的にエンコードします。構造はジオメトリをガイドするために使用され、その逆も同様です。リーフレベルでは、条件付きパーツVAEを使用してパーツのジオメトリが表され、構造コンテキストによって条件として導かれる高品質のジオメトリの詳細がエンコードされます。私たちの方法は、制御可能な生成アプリケーションをサポートするだけでなく、最先端の方法を凌駕する高品質の合成形状を生成します。コードはhttps://github.com/IGLICT/DSG-Netでリリースされています。
D shape generation is a fundamental operation in computer graphics. While significant progress has been made, especially with recent deep generative models, it remains a challenge to synthesize high-quality shapes with rich geometric details and complex structure, in a controllable manner. To tackle this, we introduce DSG-Net, a deep neural network that learns a disentangled structured and geometric mesh representation for 3D shapes, where two key aspects of shapes, geometry, and structure, are encoded in a synergistic manner to ensure plausibility of the generated shapes, while also being disentangled as much as possible. This supports a range of novel shape generation applications with disentangled control, such as interpolation of structure (geometry) while keeping geometry (structure) unchanged. To achieve this, we simultaneously learn structure and geometry through variational autoencoders (VAEs) in a hierarchical manner for both, with bijective mappings at each level. In this manner, we effectively encode geometry and structure in separate latent spaces, while ensuring their compatibility: the structure is used to guide the geometry and vice versa. At the leaf level, the part geometry is represented using a conditional part VAE, to encode high-quality geometric details, guided by the structure context as the condition. Our method not only supports controllable generation applications but also produces high-quality synthesized shapes, outperforming state-of-the-art methods. The code has been released at https://github.com/IGLICT/DSG-Net.
updated: Mon May 24 2021 14:45:26 GMT+0000 (UTC)
published: Wed Aug 12 2020 17:06:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト