高品質の新しいビュー合成を可能にしながら、柔軟な3D対応の画像コンテンツ操作を実行するための新しい方法を紹介します。 NeRFベースのアプローチは新しいビューの合成に効果的ですが、そのようなモデルはニューラルネットワーク内のシーン内のすべてのポイントの輝きを記憶します。これらのモデルはシーン固有であり、3Dシーン表現がないため、形状操作やシーンの結合などの従来の編集はできません。したがって、NeRFベースのシーンの編集と結合は実証されていません。解釈可能で制御可能なシーン表現を取得することを目的として、モデルは、シーン固有の特徴ボリュームをシーンにとらわれないニューラルレンダリングネットワークと組み合わせて学習しました。このハイブリッド表現を使用して、ニューラルレンダリングをシーン固有のジオメトリと外観から切り離します。レンダリングネットワークのパラメータを固定したまま、シーン固有の3Dフィーチャ表現のみを最適化することで、新しいシーンに一般化できます。したがって、初期トレーニング段階で学習したレンダリング機能を新しいシーンに簡単に適用できるため、アプローチがより柔軟になります。さらに重要なことに、フィーチャボリュームはレンダリングモデルから独立しているため、対応するフィーチャボリュームを編集することで、シーンを操作および結合できます。編集したボリュームをレンダリングモデルにプラグインして、高品質の斬新なビューを合成できます。シーンのミキシング、オブジェクトの変形、シーンへのオブジェクトの挿入など、さまざまなシーン操作をデモンストレーションしながら、フォトリアリスティックな結果を生成します。
We present a novel method for performing flexible, 3D-aware image content manipulation while enabling high-quality novel view synthesis. While NeRF-based approaches are effective for novel view synthesis, such models memorize the radiance for every point in a scene within a neural network. Since these models are scene-specific and lack a 3D scene representation, classical editing such as shape manipulation, or combining scenes is not possible. Hence, editing and combining NeRF-based scenes has not been demonstrated. With the aim of obtaining interpretable and controllable scene representations, our model couples learnt scene-specific feature volumes with a scene agnostic neural rendering network. With this hybrid representation, we decouple neural rendering from scene-specific geometry and appearance. We can generalize to novel scenes by optimizing only the scene-specific 3D feature representation, while keeping the parameters of the rendering network fixed. The rendering function learnt during the initial training stage can thus be easily applied to new scenes, making our approach more flexible. More importantly, since the feature volumes are independent of the rendering model, we can manipulate and combine scenes by editing their corresponding feature volumes. The edited volume can then be plugged into the rendering model to synthesize high-quality novel views. We demonstrate various scene manipulations, including mixing scenes, deforming objects and inserting objects into scenes, while still producing photo-realistic results.