点群として表される一連の3D形状の適応型共同セグメンテーションのためのディープニューラルネットワークアーキテクチャであるAdaCoSegを紹介します。よく知られている単一インスタンスのセグメンテーション問題とは異なり、共同セグメンテーションは本質的に文脈に依存します。形状がどのようにセグメント化されるかは、セットに応じて異なります。したがって、私たちのネットワークは、適応学習モジュールを備えており、セット。具体的には、セグメント化されていない形状の入力セットが与えられると、形状ごとの部品を提案するために、ネットワークの前にオフラインの事前トレーニング済み部品を最初に使用します。次に、共同セグメンテーションネットワークは、マトリックスランクによって定義された新しいグループ整合性損失の影響を受けるセット全体で、パーツのラベル付けを反復的かつ}共同で最適化します。パーツの前のネットワークは、ノイズが多く一貫性のないセグメント化された形状でトレーニングできますが、AdaCoSegの最終出力は、各形状が(ユーザー指定の)Kパーツまでセグメント化された、入力セットの一貫したパーツラベルです。全体的に、この手法は弱く監視されており、一貫したグラウンドトゥルースセグメンテーションなしで、テストセットに合わせたセグメンテーションを生成します。 AdaCoSegからの定性的および定量的な結果を示し、アブレーション研究および最新の共同セグメンテーション方法との比較を介してそれを評価します。
We introduce AdaCoSeg, a deep neural network architecture for adaptive co-segmentation of a set of 3D shapes represented as point clouds. Differently from the familiar single-instance segmentation problem, co-segmentation is intrinsically contextual: how a shape is segmented can vary depending on the set it is in. Hence, our network features an adaptive learning module to produce a consistent shape segmentation which adapts to a set. Specifically, given an input set of unsegmented shapes, we first employ an offline pre-trained part prior network to propose per-shape parts. Then, the co-segmentation network iteratively and} jointly optimizes the part labelings across the set subjected to a novel group consistency loss defined by matrix ranks. While the part prior network can be trained with noisy and inconsistently segmented shapes, the final output of AdaCoSeg is a consistent part labeling for the input set, with each shape segmented into up to (a user-specified) K parts. Overall, our method is weakly supervised, producing segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from AdaCoSeg and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.