3D点群からの表現学習は、順列の不変性と空間内の不規則な分布という固有の性質のために困難です。既存の深層学習方法は、高レベルの抽象特徴が低レベルの特徴から派生する階層的特徴抽出パラダイムに従います。ただし、これらの機能間の相互作用が制限されているため、さまざまな粒度の情報を活用できません。この目的のために、マルチレベル機能間で情報を効果的に交換して、ローカルおよびグローバルのコンテキストキューを取得し、最終層まで効果的に保存するマルチ抽象化リファインメントネットワーク(MARNet)を提案します。形状分類と粗粒度から細粒度のセマンティックセグメンテーションという2つの困難なタスクで、最先端の結果の観点からMARNetの有効性を経験的に示します。 MARNetは、分類パフォーマンスをベースラインより2%大幅に向上させ、セマンティックセグメンテーションタスクの最先端の方法を上回ります。
Representation learning from 3D point clouds is challenging due to their inherent nature of permutation invariance and irregular distribution in space. Existing deep learning methods follow a hierarchical feature extraction paradigm in which high-level abstract features are derived from low-level features. However, they fail to exploit different granularity of information due to the limited interaction between these features. To this end, we propose Multi-Abstraction Refinement Network (MARNet) that ensures an effective exchange of information between multi-level features to gain local and global contextual cues while effectively preserving them till the final layer. We empirically show the effectiveness of MARNet in terms of state-of-the-art results on two challenging tasks: Shape classification and Coarse-to-fine grained semantic segmentation. MARNet significantly improves the classification performance by 2% over the baseline and outperforms the state-of-the-art methods on semantic segmentation task.