arXiv reaDer
Learning Part Generation and Assembly for Structure-aware Shape Synthesis
 3D形状合成用の強力で深い生成モデルを学習することは、正しいトポロジと合理的なジオメトリを含む妥当性を確保することが難しいため、ほとんど妨げられています。実際、同じカテゴリ内であっても3Dオブジェクトのトポロジの大きな変動を考えると、もっともらしい3D形状の分布を学習することは、全体論的なアプローチにとって困難な作業のようです。 3D形状構造はパーツの構成と配置として特徴付けられるという事実に照らして、PAGENetと名付けられたパーツ対応の深い生成ネットワークを使用して3D形状のバリエーションをモデル化することを提案します。ネットワークは、パーツごとのVAE-GANの配列で構成され、完全な形状を構成するセマンティックパーツを生成し、その後、各パーツの相関関係を推定してパーツを関連付けて、妥当な構造に組み立てます。部品の構成と部品の配置の学習を別々のネットワークに委任することにより、3D形状の構造的変動のモデリングの難しさが大幅に軽減されます。定性的および定量的評価を通じて、PAGENetが妥当で多様かつ詳細な構造を持つ3D形状を生成することを実証し、セマンティック形状セグメンテーションとパーツベースの形状編集という2つのアプリケーションを示します。
Learning powerful deep generative models for 3D shape synthesis is largely hindered by the difficulty in ensuring plausibility encompassing correct topology and reasonable geometry. Indeed, learning the distribution of plausible 3D shapes seems a daunting task for the holistic approaches, given the significant topological variations of 3D objects even within the same category. Enlightened by the fact that 3D shape structure is characterized as part composition and placement, we propose to model 3D shape variations with a part-aware deep generative network, coined as PAGENet. The network is composed of an array of per-part VAE-GANs, generating semantic parts composing a complete shape, followed by a part assembly module that estimates a transformation for each part to correlate and assemble them into a plausible structure. Through delegating the learning of part composition and part placement into separate networks, the difficulty of modeling structural variations of 3D shapes is greatly reduced. We demonstrate through both qualitative and quantitative evaluations that PAGENet generates 3D shapes with plausible, diverse and detailed structure, and show two applications, i.e., semantic shape segmentation and part-based shape editing.
updated: Sat Jan 25 2020 14:23:11 GMT+0000 (UTC)
published: Sun Jun 16 2019 14:14:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト