NeuroMorphは、2つの3D形状を入力として受け取り、一度に、つまり1回のフィードフォワードパスで、スムーズな補間とそれらの間のポイントツーポイントの対応を生成する新しいニューラルネットワークアーキテクチャを紹介します。変形フィールドとして表される補間は、ソースシェイプのポーズをターゲットに似るように変更しますが、オブジェクトIDは変更されません。 NeuroMorphは、グラフの畳み込みとグローバルな特徴プーリングを組み合わせたエレガントなアーキテクチャを使用して、ローカルな特徴を抽出します。トレーニング中、モデルは、基礎となる形状空間多様体の測地線を近似することにより、現実的な変形を作成するように促されます。この強力な幾何学的事前分布により、手動の対応アノテーションを必要とせずに、完全に監視されていない方法でモデルをエンドツーエンドでトレーニングできます。 NeuroMorphは、さまざまなオブジェクトカテゴリの非アイソメトリックペアを含む、さまざまな入力形状に適しています。形状対応タスクと補間タスクの両方について最先端の結果を取得し、複数のベンチマークでの最近の教師なしおよび教師ありメソッドのパフォーマンスに匹敵するか、それを上回ります。
We present NeuroMorph, a new neural network architecture that takes as input two 3D shapes and produces in one go, i.e. in a single feed forward pass, a smooth interpolation and point-to-point correspondences between them. The interpolation, expressed as a deformation field, changes the pose of the source shape to resemble the target, but leaves the object identity unchanged. NeuroMorph uses an elegant architecture combining graph convolutions with global feature pooling to extract local features. During training, the model is incentivized to create realistic deformations by approximating geodesics on the underlying shape space manifold. This strong geometric prior allows to train our model end-to-end and in a fully unsupervised manner without requiring any manual correspondence annotations. NeuroMorph works well for a large variety of input shapes, including non-isometric pairs from different object categories. It obtains state-of-the-art results for both shape correspondence and interpolation tasks, matching or surpassing the performance of recent unsupervised and supervised methods on multiple benchmarks.