ニューラルフィールドは、新しいビュー合成、ジオメトリ再構築、および生成モデリングでの優れたパフォーマンスにより、コンピュータビジョンコミュニティで大きな注目を集めています。それらの利点のいくつかは、健全な理論的基盤と現在の深層学習フレームワークでの簡単な実装です。ニューラルフィールドは、たとえばテクスチャの再構築のために多様体上の信号に適用されてきましたが、それらの表現は、ユークリッド空間に形状を外的に埋め込むことに限定されていました。外因性の埋め込みは、既知の内因性の多様体の特性を無視し、柔軟性がありません。学習した機能の転送。これらの制限を克服するために、この作業では、多様体上の神経場の斬新で用途の広い表現である固有の神経場を紹介します。固有の神経場は、神経場の利点とラプラス・ベルトラミ演算子のスペクトル特性を組み合わせたものです。内因性神経場が外因性神経野フレームワークの多くの望ましい特性を継承するが、等長不変性のような追加の固有の性質を示すことを理論的に示します。実験では、固有の神経場が最先端の品質で画像から忠実度の高いテクスチャを再構築でき、基礎となる多様体の離散化に対してロバストであることを示しています。変形した形状と異なる形状の間のテクスチャ転送、ビューに依存する実世界の画像からのテクスチャの再構築、メッシュと点群での離散化にとらわれない学習など、さまざまなアプリケーションに取り組むことで、固有のニューラルフィールドの多様性を示します。
Neural fields have gained significant attention in the computer vision community due to their excellent performance in novel view synthesis, geometry reconstruction, and generative modeling. Some of their advantages are a sound theoretic foundation and an easy implementation in current deep learning frameworks. While neural fields have been applied to signals on manifolds, e.g., for texture reconstruction, their representation has been limited to extrinsically embedding the shape into Euclidean space. The extrinsic embedding ignores known intrinsic manifold properties and is inflexible wrt. transfer of the learned function. To overcome these limitations, this work introduces intrinsic neural fields, a novel and versatile representation for neural fields on manifolds. Intrinsic neural fields combine the advantages of neural fields with the spectral properties of the Laplace-Beltrami operator. We show theoretically that intrinsic neural fields inherit many desirable properties of the extrinsic neural field framework but exhibit additional intrinsic qualities, like isometry invariance. In experiments, we show intrinsic neural fields can reconstruct high-fidelity textures from images with state-of-the-art quality and are robust to the discretization of the underlying manifold. We demonstrate the versatility of intrinsic neural fields by tackling various applications: texture transfer between deformed shapes & different shapes, texture reconstruction from real-world images with view dependence, and discretization-agnostic learning on meshes and point clouds.