3D 形状間の対応を計算するための新しいパラダイムである Neural Correspondence Prior (NCP) を提示します。私たちのアプローチは完全に教師なしであり、現在の方法が失敗する疎な点群や非等尺性メッシュなどの困難なケースでも、高品質の対応を導くことができます。私たちの最初の重要な観察結果は、他のドメインで観察されたニューラル プライアに沿って、3D データの最近のネットワーク アーキテクチャは、トレーニングを行わなくても、剛体または非剛体の形状の間の妥当なマップを誘導する点ごとの特徴を生成する傾向があるということです。次に、入力としてノイズの多いマップが与えられた場合、入力マップを監督として使用して特徴抽出ネットワークをトレーニングすると、入力からアーティファクトが除去される傾向があり、個々のペア間およびコレクション内の両方で強力な対応ノイズ除去メカニズムとして機能できることを示します。これらの観察結果を踏まえて、(i) 既存のアプローチを適応させてノイズの多い一致の初期セットを取得することにより教師なしトレーニングを実行し、(ii) これらの一致を使用してネットワークをトレーニングすることにより、形状マッチングのための 2 段階の教師なしパラダイムを提案します。監視された方法。このアプローチが、特にコレクション内でトレーニングされた場合に、マップの精度を大幅に向上させることを示しています。 NCP がデータ効率が高く、高速であり、多くのタスクで最先端の結果を達成することを示します。私たちのコードはオンラインで見つけることができます: https://github.com/pvnieo/NCP.
We present Neural Correspondence Prior (NCP), a new paradigm for computing correspondences between 3D shapes. Our approach is fully unsupervised and can lead to high-quality correspondences even in challenging cases such as sparse point clouds or non-isometric meshes, where current methods fail. Our first key observation is that, in line with neural priors observed in other domains, recent network architectures on 3D data, even without training, tend to produce pointwise features that induce plausible maps between rigid or non-rigid shapes. Secondly, we show that given a noisy map as input, training a feature extraction network with the input map as supervision tends to remove artifacts from the input and can act as a powerful correspondence denoising mechanism, both between individual pairs and within a collection. With these observations in hand, we propose a two-stage unsupervised paradigm for shape matching by (i) performing unsupervised training by adapting an existing approach to obtain an initial set of noisy matches, and (ii) using these matches to train a network in a supervised manner. We demonstrate that this approach significantly improves the accuracy of the maps, especially when trained within a collection. We show that NCP is data-efficient, fast, and achieves state-of-the-art results on many tasks. Our code can be found online: https://github.com/pvnieo/NCP.