暗黙的なニューラルレンダリング、特にNeural Radiance Field(NeRF)は、シーンの新しいビュー合成において大きな可能性を示しています。ただし、現在のNeRFベースの方法では、ユーザーがシーン内でユーザー制御の形状変形を実行することはできません。既存の作品では、ユーザーの制約に従って放射輝度フィールドを変更するいくつかのアプローチが提案されていますが、変更はカラー編集またはオブジェクトの平行移動と回転に限定されています。本論文では、ユーザーがシーンの暗黙の表現に対して制御可能な形状変形を実行し、ネットワークを再トレーニングすることなく編集されたシーンの新しいビュー画像を合成できる方法を提案します。具体的には、抽出された明示的なメッシュ表現とターゲットシーンの暗黙的なニューラル表現の間の対応を確立します。ユーザーはまず、十分に開発されたメッシュベースの変形方法を利用して、シーンのメッシュ表現を変形できます。次に、メッシュ表現からのユーザー編集を利用して、プロキシとして四面体メッシュを導入することでカメラ光線を曲げ、編集されたシーンのレンダリング結果を取得します。広範な実験により、私たちのフレームワークは、合成データだけでなく、ユーザーがキャプチャした実際のシーンでも理想的な編集結果を達成できることが実証されています。
Implicit neural rendering, especially Neural Radiance Field (NeRF), has shown great potential in novel view synthesis of a scene. However, current NeRF-based methods cannot enable users to perform user-controlled shape deformation in the scene. While existing works have proposed some approaches to modify the radiance field according to the user's constraints, the modification is limited to color editing or object translation and rotation. In this paper, we propose a method that allows users to perform controllable shape deformation on the implicit representation of the scene, and synthesizes the novel view images of the edited scene without re-training the network. Specifically, we establish a correspondence between the extracted explicit mesh representation and the implicit neural representation of the target scene. Users can first utilize well-developed mesh-based deformation methods to deform the mesh representation of the scene. Our method then utilizes user edits from the mesh representation to bend the camera rays by introducing a tetrahedra mesh as a proxy, obtaining the rendering results of the edited scene. Extensive experiments demonstrate that our framework can achieve ideal editing results not only on synthetic data, but also on real scenes captured by users.