arXiv reaDer
NeuMesh:ジオメトリとテクスチャ編集のための解きほぐされたニューラルメッシュベースの暗黙的なフィールドの学習
NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing
ごく最近、ニューラル暗黙レンダリング技術が急速に進化し、新しいビュー合成と3Dシーン再構築において大きな利点が示されました。ただし、編集を目的とした既存のニューラルレンダリング方法では、機能が制限されます(たとえば、厳密な変換)。または、日常生活の一般的なオブジェクトのきめ細かい編集には適用できません。この論文では、メッシュ頂点のもつれを解いたジオメトリとテクスチャコードでニューラル暗黙フィールドをエンコードすることにより、新しいメッシュベースの表現を提示します。これにより、メッシュガイドジオメトリ編集、テクスチャスワッピングによる指定テクスチャ編集などの一連の編集機能が容易になります。充填および塗装作業。この目的のために、メッシュベースの表現の空間的識別可能性を拡大する学習可能な符号インジケーター、安定した収束を行うための蒸留および微調整メカニズム、正確なテクスチャ編集を実現するための空間認識最適化戦略など、いくつかの手法を開発します。実際のデータと合成データの両方に関する広範な実験と編集例は、表現品質と編集能力に対する私たちの方法の優位性を示しています。コードはプロジェクトのWebページ(https://zju3dv.github.io/neumesh/)で入手できます。
Very recently neural implicit rendering techniques have been rapidly evolved and shown great advantages in novel view synthesis and 3D scene reconstruction. However, existing neural rendering methods for editing purposes offer limited functionality, e.g., rigid transformation, or not applicable for fine-grained editing for general objects from daily lives. In this paper, we present a novel mesh-based representation by encoding the neural implicit field with disentangled geometry and texture codes on mesh vertices, which facilitates a set of editing functionalities, including mesh-guided geometry editing, designated texture editing with texture swapping, filling and painting operations. To this end, we develop several techniques including learnable sign indicators to magnify spatial distinguishability of mesh-based representation, distillation and fine-tuning mechanism to make a steady convergence, and the spatial-aware optimization strategy to realize precise texture editing. Extensive experiments and editing examples on both real and synthetic data demonstrate the superiority of our method on representation quality and editing ability. Code is available on the project webpage: https://zju3dv.github.io/neumesh/.
updated: Mon Jul 25 2022 05:30:50 GMT+0000 (UTC)
published: Mon Jul 25 2022 05:30:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト