関連する部品のセマンティクスと構造に沿って、新規で多様で現実的な3D形状を生成する能力は、高品質の3Dアセットや大量の現実的なトレーニングデータを必要とする多くのアプリケーションの中心的な役割を果たしている。この目標に向けた重要な課題は、部品の連続的な変形だけでなく、形状の構成要素や構成構造を追加、削除、または変更する構造的または離散的な変更を含む、多様な形状のバリエーションにいかに対応するかということである。このようなオブジェクト構造は、典型的には、n-aryグラフの階層として表される、オブジェクトの構成部分と関係性の階層に編成することができる。階層的グラフネットワークであるStructureNetを紹介する。これは、(i)このようなn-aryグラフとして表現された形状を直接エンコードすることができ、(ii)大規模で複雑な形状ファミリーに対してロバストに学習することができ、(iii)現実的な構造化された形状幾何の多様性を生成するために使用することができる。技術的には、最近のグラフニューラルネットワークの進歩からインスピレーションを得て、ネットワークの学習中に部分形状と部分間関係の両方を考慮したn-aryグラフの順序不変符号化を提案することによって、これを達成する。本研究では、学習した潜在空間の品質を様々な形状族について包括的に評価し、ベースライン手法や競合手法と比較して有意な優位性を示した。学習された潜在空間は、形状の生成や補間、形状編集、あるいは非注釈画像、点群、部分スキャンからの直接形状構造の発見など、構造を考慮した形状処理アプリケーションを可能にする。
The ability to generate novel, diverse, and realistic 3D shapes along with associated part semantics and structure is central to many applications requiring high-quality 3D assets or large volumes of realistic training data. A key challenge towards this goal is how to accommodate diverse shape variations, including both continuous deformations of parts as well as structural or discrete alterations which add to, remove from, or modify the shape constituents and compositional structure. Such object structure can typically be organized into a hierarchy of constituent object parts and relationships, represented as a hierarchy of n-ary graphs. We introduce StructureNet, a hierarchical graph network which (i) can directly encode shapes represented as such n-ary graphs; (ii) can be robustly trained on large and complex shape families; and (iii) can be used to generate a great diversity of realistic structured shape geometries. Technically, we accomplish this by drawing inspiration from recent advances in graph neural networks to propose an order-invariant encoding of n-ary graphs, considering jointly both part geometry and inter-part relations during network training. We extensively evaluate the quality of the learned latent spaces for various shape families and show significant advantages over baseline and competing methods. The learned latent spaces enable several structure-aware geometry processing applications, including shape generation and interpolation, shape editing, or shape structure discovery directly from un-annotated images, point clouds, or partial scans.