arXiv reaDer
EditableNeRF: トポロジー的に変化するニューラル ラディアンス フィールドをキー ポイントで編集する
EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points
ニューラル ラディアンス フィールド (NeRF) は、写真のようにリアルな斬新なビュー合成を実現しますが、NeRF ベースの方法でモデル化されたシーン、特に動的なシーンを編集するのは困難な問題です。エンドユーザーが動的なシーンを簡単に編集し、トポロジーの変更もサポートできるようにする、編集可能な神経放射輝度フィールドを提案します。単一のカメラからの画像シーケンスを入力すると、ネットワークは完全に自動的にトレーニングされ、選択された表面のキーポイントを使用してトポロジ的に変化するダイナミクスがモデル化されます。その後、エンド ユーザーはキー ポイントを目的の新しい位置に簡単にドラッグして、シーンを編集できます。これを達成するために、シーン内のダイナミクスを考慮してキーポイントを検出して初期化するシーン分析方法と、ジョイントキーポイントと重みの最適化によってトポロジ的に変化するダイナミクスをモデル化する重み付きキーポイント戦略を提案します。私たちの方法は、直感的な多次元 (最大 3D) 編集をサポートし、入力シーケンスでは見られない斬新なシーンを生成できます。実験は、私たちの方法がさまざまな動的シーンで高品質の編集を実現し、最先端技術を凌駕することを示しています。コードとキャプチャしたデータを公開します。
Neural radiance fields (NeRF) achieve highly photo-realistic novel-view synthesis, but it's a challenging problem to edit the scenes modeled by NeRF-based methods, especially for dynamic scenes. We propose editable neural radiance fields that enable end-users to easily edit dynamic scenes and even support topological changes. Input with an image sequence from a single camera, our network is trained fully automatically and models topologically varying dynamics using our picked-out surface key points. Then end-users can edit the scene by easily dragging the key points to desired new positions. To achieve this, we propose a scene analysis method to detect and initialize key points by considering the dynamics in the scene, and a weighted key points strategy to model topologically varying dynamics by joint key points and weights optimization. Our method supports intuitive multi-dimensional (up to 3D) editing and can generate novel scenes that are unseen in the input sequence. Experiments demonstrate that our method achieves high-quality editing on various dynamic scenes and outperforms the state-of-the-art. We will release our code and captured data.
updated: Wed Dec 07 2022 06:08:03 GMT+0000 (UTC)
published: Wed Dec 07 2022 06:08:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト