3D形状の領域にきめの細かいセマンティックラベルを割り当てる方法を学習する方法であるNeurally-GuidedShapeParser(NGSP)を提案します。 NGSPは、MAP推論を介してこの問題を解決し、学習された尤度関数を使用して入力形状を条件とするラベル割り当ての事後確率をモデル化します。この検索を扱いやすくするために、NGSPは後方を近似することを学習するニューラルガイドネットワークを採用しています。 NGSPは、最初にガイドネットワークで提案をサンプリングし、次に各提案を完全な可能性の下で評価することによって、確率の高いラベル割り当てを見つけます。 PartNetから製造された3D形状のきめ細かいセマンティックセグメンテーションのタスクでNGSPを評価します。ここで、形状はパーツインスタンスのオーバーセグメンテーションに対応する領域に分解されています。 NGSPは、(i)領域を使用してポイントごとの予測をグループ化する、(ii)領域を自己監視信号として使用する、または(iii)代替の定式化の下で領域にラベルを割り当てる、比較方法よりも大幅にパフォーマンスが向上することがわかります。さらに、NGSPは、限られたラベル付きデータやノイズの多い入力形状領域でも強力なパフォーマンスを維持することを示しています。最後に、NGSPをオンラインリポジトリで見つかったCAD形状に直接適用できることを示し、知覚研究でその有効性を検証します。
We propose the Neurally-Guided Shape Parser (NGSP), a method that learns how to assign fine-grained semantic labels to regions of a 3D shape. NGSP solves this problem via MAP inference, modeling the posterior probability of a label assignment conditioned on an input shape with a learned likelihood function. To make this search tractable, NGSP employs a neural guide network that learns to approximate the posterior. NGSP finds high-probability label assignments by first sampling proposals with the guide network and then evaluating each proposal under the full likelihood. We evaluate NGSP on the task of fine-grained semantic segmentation of manufactured 3D shapes from PartNet, where shapes have been decomposed into regions that correspond to part instance over-segmentations. We find that NGSP delivers significant performance improvements over comparison methods that (i) use regions to group per-point predictions, (ii) use regions as a self-supervisory signal or (iii) assign labels to regions under alternative formulations. Further, we show that NGSP maintains strong performance even with limited labeled data or noisy input shape regions. Finally, we demonstrate that NGSP can be directly applied to CAD shapes found in online repositories and validate its effectiveness with a perceptual study.