arXiv reaDer
ニューラルガイド付き形状パーサー:近似推論による3D形状領域の文法ベースのラベリング
The Neurally-Guided Shape Parser: Grammar-based Labeling of 3D Shape Regions with Approximate Inference
3D形状の領域にきめの細かいセマンティックラベルを割り当てる方法を学習する方法であるNeurally-GuidedShape Parser(NGSP)を提案します。 NGSPは、MAP推論を介してこの問題を解決し、学習された尤度関数を使用して入力形状を条件とするラベル割り当ての事後確率をモデル化します。この検索を扱いやすくするために、NGSPは後方を近似することを学習するニューラルガイドネットワークを採用しています。 NGSPは、最初にガイドネットワークで提案をサンプリングし、次に各提案を完全な可能性の下で評価することによって、確率の高いラベル割り当てを見つけます。 PartNetから製造された3D形状のきめ細かいセマンティックセグメンテーションのタスクでNGSPを評価します。ここで、形状はパーツインスタンスのオーバーセグメンテーションに対応する領域に分解されています。 NGSPは、(i)領域を使用してポイントごとの予測をグループ化する、(ii)領域を自己監視信号として使用する、または(iii)代替の定式化の下で領域にラベルを割り当てる、比較方法よりも大幅にパフォーマンスが向上することがわかります。さらに、NGSPは、ラベル付けされたデータが限られている場合や、形状領域が人為的に破損した場合でも、強力なパフォーマンスを維持することを示しています。最後に、NGSPをオンラインリポジトリで見つかったCAD形状に直接適用できることを示し、知覚研究でその有効性を検証します。
We propose the Neurally-Guided Shape Parser (NGSP), a method that learns how to assign fine-grained semantic labels to regions of a 3D shape. NGSP solves this problem via MAP inference, modeling the posterior probability of a label assignment conditioned on an input shape with a learned likelihood function. To make this search tractable, NGSP employs a neural guide network that learns to approximate the posterior. NGSP finds high-probability label assignments by first sampling proposals with the guide network and then evaluating each proposal under the full likelihood. We evaluate NGSP on the task of fine-grained semantic segmentation of manufactured 3D shapes from PartNet, where shapes have been decomposed into regions that correspond to part instance over-segmentations. We find that NGSP delivers significant performance improvements over comparison methods that (i) use regions to group per-point predictions, (ii) use regions as a self-supervisory signal or (iii) assign labels to regions under alternative formulations. Further, we show that NGSP maintains strong performance even with limited labeled data or as shape regions undergo artificial corruption. Finally, we demonstrate that NGSP can be directly applied to CAD shapes found in online repositories and validate its effectiveness with a perceptual study.
updated: Wed Dec 08 2021 00:48:16 GMT+0000 (UTC)
published: Tue Jun 22 2021 19:26:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト